Analisis Berganda [PDF]

Citation preview

Analisis Regresi 2 Pokok Bahasan :



Review Regresi Linier Sederhana dan Berganda Tujuan Instruksional Khusus : Mahasiswa dapat menjelaskan regresi linier sederhana dan berganda dan asumsi-asumsi yang mendasarinya



Regresi Linier Sederhana  Model Regresi Linier Sederhana (1 peubah penjelas)



Y  β0  β1x1  ε  Model Regresi Linier Berganda ( k peubah penjelas )



Y  β0  β1 x1  β2 x2  .....  βk xk  ε Dengan notasi matriks dapat dituliskan : n



y1 n Xk 1 k 1  1  n  1



Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



, k  banyaknya p penjelas



Ringkasan Regresi Linier Berganda  Model Regresi Linier Berganda dengan 2 peubah penjelas :



Y  β 0  β1x1  β 2 x 2  ε  Model umum Regresi Berganda dengan k peubah penjelas dalam notasi matriks :



y  X    n k  1 n 1 k 1 1 n 1



Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



Ringkasan Regresi Linier Berganda lanjutan



 Nilai dugaan



yˆ  Xb  H y



H  X(X' X) 1 X'



 Matriks dugaan ragam peragam bagi b : Vˆ (b0 ) cov (b0 , b1 ) ....... cov (b0 , bk )    ˆ ....... cov (b1 , bk ) cov(b1 , b0 ) V (b1 ) 1 2 ˆ   V (b)    X ' X s  ... ...  ...  cov(b , b ) cov(b , b ) ............Vˆ (b )  k 0 k 1 k   dengan : s2 = KT sisaan Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



Ringkasan Regresi Linier Berganda lanjutan



 KOEFISIEN DETERMINASI b' X ' Y R  Y 'Y 2



b' X ' Y  nY R adj  Y ' Y  nY 2



2



2



 Dugaan simpangan baku



sb j  c( j 1)( j 1) s



dengan : s2 = KT sisaan



c(j1)(j1)  unsur ke j  1 diagonal matriks (X' X) 1



Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



Pendugaan model regresi linier berganda dengan notasi matriks  Notasi Matriks pada Model Regresi Linier Berganda dengan k = 2



y  X  



 y1  1 x11 y  1 x  2  12 .   . .    .  . .  yn  1 x1n   



x 21  x 22  .   .  x 2n 



 1     0   2     .   1     2  .   n   



 Penduga parameter regresi berganda dg notasi matriks : 1 ( k 1)



b1 ( k 1) (X' X)



Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



( k 1)



(k 1)



X'n



y n 1



Contoh: model regresi linier berganda dalam notasi matriks Data :



Model Regresi dalam notasi Matriks : y  X  



y



x1



x2



3.5



3.1



30



3.2



3.4



25



3.0



3.0



20



2.9



3.2



30



4.0



3.9



40



2.5



2.8



25



2.3



2.2



30



Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



3.5  3.2    3.0    y  2.9 4.0   2.5 2.3  



1 1  1  X  1 1  1 1 



3.1 30  3.4 25 3.0 20  3.2 30  3.9 40  2.8 25 2.2 30



 0     1    2 



Contoh : Menduga parameter regresi linier berganda dg matriks Dugaan bagi parameter regresi : 1 b  ( X ' X ) ( k 1) ( k 1) 1 ( k 1)



(k 1)



X'n



y n 1



Dari data contoh tsb. didapat : X’X =



1 1 1 1 1 1 1  1 3.1 3.4 3.0 3.2 3.9 2.8 2.2    1 30 25 20 30 40 25 30  1  1 3x7 1  1 1 



3.1 30  3.4 25 3.0 20  3.2 30  3.9 40  2.8 25 2.2 30 7x3



Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



Contoh : Menduga parameter regresi linier berganda dg matriks lanjutan



Dengan perhitungan cara matriks didapat :  7.0 216 . 200.0    X  X   216 . 68.3 626.0  200.0 626.0 5950.0



b



 6.683 - 1.529 - 0.064  ( X' X) 1  - 1.529 0.760 - 0.028  - 0.064 - 0.028 0.005



 0.214   6.683 - 1.529 - 0.064  1 1 1 1 1 1 1  3.5  - 1.529 0.760 - 0.028  3.1 3.4 3.0 3.2 3.9 2.8 2.2 3.2    0.898  =         0.017  - 0.064 - 0.028 0.005 30 25 20 30 40 25 30  3.0     2.9 (X’X) -1 X’  4.0    2.5 Dugaan persamaan garis regresinya :  2.3  



yˆ  0.214  0.898x1  0.017 x2



y Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



Pemeriksaan Model Regresi Berganda :



uji-t  Uji-t dimaksudkan untuk menguji pengaruh setiap peubah penjelas secara satu per satu terhadap peubah responnya Model Regresi Berganda dg 2 peubah penjelas :



Y  β 0  β1x1  β 2 x 2  ε H0 :  j  0



Peubah penjelas Xj tidak berhubungan linier dg Y



H1 :  j  0



Peubah penjelas Xj berhubungan linier dg Y



atau  j  0



Peubah penjelas Xj berhubungan linier positif dg Y



atau  j  0



Peubah penjelas Xj berhubungan linier negatif dg Y



Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



Pemeriksaan Model untuk Regresi Berganda : uji-t lanjutan



Hipotesis : 1. H 0 : 1  0 H 1 : 1  0 atau 1  0 atau 1  0



2. H 0 :  2  0 H1 :  2  0 atau  2  0 atau  2  0



Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



Statistik uji-nya :



t hit 



bj   j sb j



, sb j  c( j 1)( j 1) s



Derajat bebasnya = n – k - 1 Unsur ke (j+1) diagonal (X’X)-1 Akar dari KT sisaan k = banyaknya peubah penjelas



Contoh : uji-t dengan notasi matriks  Dengan menggunakan data contoh pada slide sebelumnya ingin diuji apakah X1 dan atau X2 berpengaruh linier thdp Y  Didapatkan bahwa



 6.683 - 1.529 - 0.064  ( X' X) 1  - 1.529 0.760 - 0.028  - 0.064 - 0.028 0.005



Dugaan garis regresi-nya: yˆ  0.214  0.898x1  0.017 x2  Hipotesisnya : Peubah penjelas Xj tidak berhubungan linier dg Y H0 :  j  0 H1 :  j  0



Peubah penjelas Xj berhubungan linier dg Y



Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



Contoh : uji-t dengan notasi matriks lanjutan



 Statistik uji-nya :



t hit  S2=



bj   j



 2 



sb j



, sb j  c( j 1)( j 1) s



1  67.44  671031   0.08422 . 4



untuk j  1, s b1  0.76 x 0.2902  0.2530  t hit  untuk j  2, s b 2  0.005 x 0.2902  0.0205  thit



Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



0.898  3.55 0.253



0.017   0.829 0.0205



Contoh : uji-t dengan notasi matriks (lanjutan) d.b. = 7 - 3 = 4 a/2=.025



a/2=.025



t4,.025 = 2.776



Untuk j=1  t hit = 3.55  tolak H0 Untuk j=2  t hit = 0.829  terima H0



-tn-3,α/2 Tolak H0



-2.776



0



KESIMPULAN :



tn-3,α/2



Terima H0



Tolak H0



2.776



Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



1. Cukup bukti untuk mengatakan bahwa ada hub linier antara x1 dan Y



2. Tidak cukup bukti untuk mengatakan bahwa ada hub linier antara x2 dan Y



Contoh : uji-t dengan Minitab lanjutan Regression Analysis: Y versus X1, X2 The regression equation is Y = - 0.214 + 0.898 X1 + 0.0175 X2 Predictor Constant X1 X2



Coef SE Coef -0.2138 0.7502 0.8984 0.2530 0.01745 0.02116



T -0.29 3.55 0.82



S = 0.290208 R-Sq = 83.3% R-Sq(adj) = 74.9%



Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



P 0.790 0.024 0.456



> 0.05



Terima H0



Pemeriksaan Model Regresi Berganda : uji-F Dengan uji F ini kita dapat mengetahui :  peubah-peubah penjelas yang ada dalam model berpengaruh secara serempak terhadap respon atau tidak. (model regresi layak atau tidak)  Penambahan satu peubah penjelas ke dalam model setelah peubah penjelas lainnya ada dalam model berpengaruh nyata atau tidak terhadap respon  Penambahan sekelompok peubah penjelas ke dalam model setelah peubah penjelas lainnya ada dalam model berpengaruh nyata atau tidak terhadap respon



Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



Uji Parameter Regresi Linier Berganda : uji-F untuk model keseluruhan H 0 : 1   2  ...   k  0 H1 : min ada satu  j  0, j  1,2,....., k Sumber Keragaman



b1, b2,..,bk| b0



H0 : peubah respon tidak memp hub linier dg peubah penjelas ke-1 s.d ke-k



Derajat Bebas (db)



Jumlah Kuadrat (JK)



k



b’X’Y – Y’11’Y/n



Kuadrat Tengah (KT)



JK Regresi k



Sisaan Total (terkoreksi)



n – k-1 n-1



KRITERIA PENOLAKAN : Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



Y’Y – b’X’Y Y’Y – Y’11’Y/n



JKsisaan n  k -1



H1 : peubah respon memp hub linier dg min 1 peubah penjelas ke-1 s.d ke-k



Fhit 



Tolak H 0 jika F  Fk,n k 1,α



KTregresi KTsisaan



Uji Parameter Regresi Linier Berganda : uji-F untuk model keseluruhan lanjutan



OUT PUT MINITAB : DATA TEKANAN DARAH The regression equation is Tekanan Darah = 50,5 + 12,8 Ukuran Tubuh + 0,848 Umur + 9,11 Merokok S = 7,88677 R-Sq = 72,6% R-Sq(adj) = 69,6% Analysis of Variance Source DF SS Regression 3 4610,3 Residual Error 28 1741,6 Total 31 6352,0



MS 1536,8 62,2



Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



(3,28), 5%



H1 : min ada 1  j  0, j  1,2,.., k



KEPUTUSAN: tolak H0. a = 5%



KESIMPULAN: Tekanan darah memiliki hubungan linier dg min satu peubah penjelas



F P 24,71 0,000



F tabel : F



H 0 : 1   2  ...   k  0



=2,95



Uji Parameter Regresi Linier Berganda : uji-F untuk model keseluruhan lanjutan



H 0 : 1   2   3  0



Statistik uji-nya: H1 : min ada satu  j  0, j  1,2,3 Fhit  KTregresi  24,71 KTsisaan F tabel : F



(3,28), 5%



=2,95



Keputusan: Tolak H0



Kesimpulan:



a = .05



0



Terima H0



F.05 = 2,95



Tolak H0



Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



F



Cukup bukti untuk mengatakan bahwa minimum ada satu peubah penjelas yg berhubungan linier dg Y



Uji-F Parsial dan uji-F Sekuensial PADA ANALISIS REGRESI LINIER BERGANDA : Terhadap semua peubah penjelas yang tersedia :  Diuji peubah penjelas apa yg berpengaruh nyata thd respon.  Dari yang ada dalam model, usahakan yang dipakai hanya peubah penjelas yang keberadaannya dalam model menyumbangkan keragaman kepada garis regresi cukup besar  Jika suatu peubah penjelas keberadaannya dalam model sudah dapat diwakili oleh yg lainnya, maka peubah penjelas tsb tidak perlu lagi digunakan dlm model  Lebih disenangi model yang memiliki banyaknya peubah penjelas yang lebih sedikit. Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



Pemeriksaan Model Regresi Berganda : uji-F Apakah penambahan X2 ke dalam model berpengaruh terhadap Y



Y  β0  β1x1  ε



H 0 :  2  0 dalam model Y   0  1 x1   2 x2   H1 :  2  0 Sumber Keragaman



b1, b2 | b0



Derajat Bebas (db)



Jumlah Kuadrat (JK)



2



b’X’Y – Y’11’Y/n



1



JKb1 ,b2 | b0  JKb1| b0



Sisaan



n–3



Y’Y – b’X’Y



Total (terkoreksi)



n-1



Y’Y – Y’11’Y/n



b 2 b 0 , b1



Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



Kuadrat Tengah (KT)



JK b 2 | b 0 ,b1 JK sisaan JKsisaan



n -3



Fhit 



KTb 2 |b0 ,b1 KTsisaan



Pemeriksaan Model Regresi Berganda : KOEFISIEN DETERMINASI BERGANDA KOEFISIEN DETERMINASI BERGANDA  Proporsi keragaman pada Y dijelaskan oleh semua peubah X secara bersama-sama Keragaman yg dijelaskan SS yy  SSE SSE R    1 Total Keragaman SS yy SS yy 2



Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



Pemeriksaan Model Regresi Berganda : Adjusted R2  R2 besarnya tidak pernah turun ketika peubah X ditambahkan ke dalam model  Hanya nilai Y yang menentukan besarnya SSyy  Tidak ada gunanya kalau membandingkan model yg satu dg yg sdh ditambah peubah penjelasnya.



 Solusi: Adjusted R2  Setiap penambahan peubah penjelas akan menurunkan nilai adjusted R2.



n  1  SSE SSE 2  1 R  SSyy  n  k  1 SS yy



 2 Ra  1  



Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



Validitas Model PRESS = Prediction Sum of Squares, adalah prosedur yang merupakan kombinasi dari: semua kemungkinan regresi, analisis sisaan, dan teknik validasi. Digunakan untuk mengukur validitas model.



PRESS    yi  yˆ i , i 



2



  ei,-i 



2



yi



: nilai respon pada x=xi (data lengkap) yˆ i , i : nilai ramalan y pd x=xi yg diramal melalui dugaan persamaan regresi dari data tanpa amatan ke-i Model valid jika memiliki PRESS yg kecil Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



2



 ei  R 2 PRED  1  PRESS =  2  1  h   yi  y  i 1  ii  n







R2pred adalah statistik lainnya yg berhub dg PRESS. Model valid jika R2pred besar.



Validitas Model (lanjutan)



PROSEDUR PRESS



Mis. k adalah banyaknya peubah dalam suatu persamaan regresi, n adalah banyaknya amatan Langkah-langkahnya: 1. Sisihkan amatan ke-1, amatan ke-1 tidak digunakan, data tinggal n-1. 2. Dugalah semua ”kemungkinan model regresi” thdp n-1 data tersebut. (jika k=1 banyaknya ”kemungkinan model” hanya 1) 3. Ramal y1 dengan model yang didapat pd no.2. (lakukan untuk semua kemungkinan model  hanya 1 jika k=1) ˆ 4. Hitung perbedaan y1 yg disisihkan tadi dengan hasil no.3.  y1  y1k 5. Ulangi langkah 1-4 dengan menyisihkan amatan ke-2, ke-3,...., ke-n. Didapat y2  yˆ 2k , y3  yˆ3k , ..., yn  yˆ nk n



2



6. Untuk setiap model regresi yang mungkin hitung : PRESS    yi  yˆ ik  i 1



7. Pilih model yang relatif memiliki nilai PRESS terkecil, dan melibatkan peubah penjelas sedikit. Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



Validitas Model (lanjutan) Contoh Proses PRESS, untuk n=11 dan k=1 Y



X



Dugaan Garis Regresi dg Data tanpa amatan ke-i



7,46



10



Y tnp 1 = 3,01 + 0,505 X tnp 1



8,06



-0,6



0,36



6,77



8



Y tnp 2 = 3,05 + 0,497 X tnp 2



7,026



-0,256



0,06553



12,74



13



Y tnp 3 = 4,01 + 0,345 X tnp 3



8,495



4,245



18,02003



7,11



9



Y tnp 4 = 3,04 + 0,500 X tnp 4



7,54



-0,43



0,18490



7,81



11



Y tnp 5 = 2,95 + 0,514 X tnp 5



8,604



-0,794



0,63043



8,84



14



Y tnp 6 = 2,46 + 0,577 X tnp 6



10,538



-1,698



2,88320



6,08



6



Y tnp 7 = 2,97 + 0,502 X tnp 7



5,982



0,098



0,00960



5,39



4



Y tnp 8 = 2,72 + 0,526 X tnp 8



4,824



0,566



0,32035



8,15



12



Y tnp 9 = 2,84 + 0,528 X tnp 9



9,176



-1,026



1,05267



6,42



7



Y tnp 10 = 3,03 + 0,498 X tnp10



6,516



-0,096



0,00921



5,73



5



Y tnp 11 = 2,88 + 0,511 X tnp11



5,435



0,295



0,08703



ramalan Yi tnp amatan ke-i



ei,-i



e i,-i kuadrat



Total = PRESS =



Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



23,6229



Validitas Model Output Minitab untuk data contoh tsb The regression equation is Y = 3,00 + 0,500 X Predictor Constant X



Coef SE Coef 3,002 1,124 0,4997 0,1179



T 2,67 4,24



P 0,026 0,002



S = 1,23631 R-Sq = 66,6% R-Sq(adj) = 62,9% PRESS = 23,6210 R-Sq(pred) = 42,70% Analysis of Variance Source DF SS Regression 1 27,470 Residual Error 9 13,756 Total 10 41,226



Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



MS F P 27,470 17,97 0,002 1,528



(lanjutan)



• Hasil PRESS melalui proses = hasil Minitab • Untuk k=1 hanya ada 1 model • Amatan ke-3 memberikan simpangan ramalan terbesar • Amatan ke-3 dapat dipandang sebagai amatan berpengaruh • Dugaan parameter regresi tanpa amatan ke-3 sangat berbeda dg lainnya dugaan yg ini relatif yg benar/baik



Keluarkan amatan ke-3 dari analisis. Cek nilai PRESS-nya. Cek nilai R2nya



Validitas Model Output Minitab data lengkap The regression equation is Y = 3,00 + 0,500 X Predictor Constant X



(lanjutan)



Output Minitab data tanpa amatan ke-3 The regression equation is Y tnp 3 = 4,01 + 0,345 X tnp 3



Coef SE Coef 3,002 1,124 0,4997 0,1179



T P 2,67 0,026 4,24 0,002



Predictor Coef SE Coef T Constant 4,00619 0,00221 1811,78 X tnp 3 0,345334 0,000237 1454,74



P 0,000 0,000



S = 1,23631 R-Sq = 66,6%



S = 0,00308655 R-Sq = 100,0



PRESS = 23,6210 R-Sq(pred) = 42,70%



PRESS = 0,000174853 R-Sq(pred) = 100,00%



Analysis of Variance Source DF SS Regression 1 27,470 Residual Error 9 13,756 Total 10 41,226



Analysis of Variance Source DF SS MS F P Regression 1 20,161 20,161 2116264,34 0,000 Residual Error 15 0,000 0,000 Total 16 20,161



MS F P 27,470 17,97 0,002 1,528



Menyisihkan amatan ke-3 mempengaruhi dugaan parameter, menurunkan nilai PRESS Dari sisi model, “persamaan tanpa amatan ke-3” yg terbaik. R-Sq(pred)=100,00%  model sangat valid  PELUANG salah memprediksi = 0 Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



Validitas Model (lanjutan) Dugaan garis regresi dg data lengkap



Dugaan garis regresi tanpa amatan ke-3



PRESS = 23,6210



PRESS = 0,000174853



R-Sq(pred) = 42,70% Fitted Line Plot



R-Sq(pred) = 100,0%



Fitted Line Plot



Y = 3,002 + 0,4997 X



Y tnp 3 = 4,006 + 0,3453 X tnp 3



13



9



12 11



8



10 Y



Y tnp 3



9 8



7



7



6



6 5 4



5 5,0



7,5



10,0 X



12,5



15,0



5,0



7,5



10,0 X tnp 3



12,5



Semakin kecil nilai PRESS-nya  model semakin valid  semakin baik untuk memprediksi. Setiap 1 model regresi thdp 1 set data memiliki 1 nilai PRESS Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB



15,0



ASUMSI ASUMSI YANG HARUS DIPENUHI DALAM ANALISIS REGRESI BERGANDA :



1. Kondisi Gauss-Marcov



1. E[ i ]  0



nilai - harapan/rataan sisaan  nol



2. E[ i ]  var [ ]   2 , ragam sisaan homogen untuk setiap nilai x 2



3. E[ i j ]  0, i  j



( homoscedas ticity ) sisaan saling bebas/tdk ada autokorelasi



2. Galat menyebar Normal 3. Galat bebas terhadap peubah bebas, cov(x i ,  j )  0, i 4. Tidak ada multikolinieritas pd peubah bebas, cov(x i , x j )  0, i  j



Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB