7 0 574 KB
Analisis Regresi 2 Pokok Bahasan :
Review Regresi Linier Sederhana dan Berganda Tujuan Instruksional Khusus : Mahasiswa dapat menjelaskan regresi linier sederhana dan berganda dan asumsi-asumsi yang mendasarinya
Regresi Linier Sederhana Model Regresi Linier Sederhana (1 peubah penjelas)
Y β0 β1x1 ε Model Regresi Linier Berganda ( k peubah penjelas )
Y β0 β1 x1 β2 x2 ..... βk xk ε Dengan notasi matriks dapat dituliskan : n
y1 n Xk 1 k 1 1 n 1
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
, k banyaknya p penjelas
Ringkasan Regresi Linier Berganda Model Regresi Linier Berganda dengan 2 peubah penjelas :
Y β 0 β1x1 β 2 x 2 ε Model umum Regresi Berganda dengan k peubah penjelas dalam notasi matriks :
y X n k 1 n 1 k 1 1 n 1
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Ringkasan Regresi Linier Berganda lanjutan
Nilai dugaan
yˆ Xb H y
H X(X' X) 1 X'
Matriks dugaan ragam peragam bagi b : Vˆ (b0 ) cov (b0 , b1 ) ....... cov (b0 , bk ) ˆ ....... cov (b1 , bk ) cov(b1 , b0 ) V (b1 ) 1 2 ˆ V (b) X ' X s ... ... ... cov(b , b ) cov(b , b ) ............Vˆ (b ) k 0 k 1 k dengan : s2 = KT sisaan Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Ringkasan Regresi Linier Berganda lanjutan
KOEFISIEN DETERMINASI b' X ' Y R Y 'Y 2
b' X ' Y nY R adj Y ' Y nY 2
2
2
Dugaan simpangan baku
sb j c( j 1)( j 1) s
dengan : s2 = KT sisaan
c(j1)(j1) unsur ke j 1 diagonal matriks (X' X) 1
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Pendugaan model regresi linier berganda dengan notasi matriks Notasi Matriks pada Model Regresi Linier Berganda dengan k = 2
y X
y1 1 x11 y 1 x 2 12 . . . . . . yn 1 x1n
x 21 x 22 . . x 2n
1 0 2 . 1 2 . n
Penduga parameter regresi berganda dg notasi matriks : 1 ( k 1)
b1 ( k 1) (X' X)
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
( k 1)
(k 1)
X'n
y n 1
Contoh: model regresi linier berganda dalam notasi matriks Data :
Model Regresi dalam notasi Matriks : y X
y
x1
x2
3.5
3.1
30
3.2
3.4
25
3.0
3.0
20
2.9
3.2
30
4.0
3.9
40
2.5
2.8
25
2.3
2.2
30
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
3.5 3.2 3.0 y 2.9 4.0 2.5 2.3
1 1 1 X 1 1 1 1
3.1 30 3.4 25 3.0 20 3.2 30 3.9 40 2.8 25 2.2 30
0 1 2
Contoh : Menduga parameter regresi linier berganda dg matriks Dugaan bagi parameter regresi : 1 b ( X ' X ) ( k 1) ( k 1) 1 ( k 1)
(k 1)
X'n
y n 1
Dari data contoh tsb. didapat : X’X =
1 1 1 1 1 1 1 1 3.1 3.4 3.0 3.2 3.9 2.8 2.2 1 30 25 20 30 40 25 30 1 1 3x7 1 1 1
3.1 30 3.4 25 3.0 20 3.2 30 3.9 40 2.8 25 2.2 30 7x3
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Contoh : Menduga parameter regresi linier berganda dg matriks lanjutan
Dengan perhitungan cara matriks didapat : 7.0 216 . 200.0 X X 216 . 68.3 626.0 200.0 626.0 5950.0
b
6.683 - 1.529 - 0.064 ( X' X) 1 - 1.529 0.760 - 0.028 - 0.064 - 0.028 0.005
0.214 6.683 - 1.529 - 0.064 1 1 1 1 1 1 1 3.5 - 1.529 0.760 - 0.028 3.1 3.4 3.0 3.2 3.9 2.8 2.2 3.2 0.898 = 0.017 - 0.064 - 0.028 0.005 30 25 20 30 40 25 30 3.0 2.9 (X’X) -1 X’ 4.0 2.5 Dugaan persamaan garis regresinya : 2.3
yˆ 0.214 0.898x1 0.017 x2
y Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Pemeriksaan Model Regresi Berganda :
uji-t Uji-t dimaksudkan untuk menguji pengaruh setiap peubah penjelas secara satu per satu terhadap peubah responnya Model Regresi Berganda dg 2 peubah penjelas :
Y β 0 β1x1 β 2 x 2 ε H0 : j 0
Peubah penjelas Xj tidak berhubungan linier dg Y
H1 : j 0
Peubah penjelas Xj berhubungan linier dg Y
atau j 0
Peubah penjelas Xj berhubungan linier positif dg Y
atau j 0
Peubah penjelas Xj berhubungan linier negatif dg Y
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Pemeriksaan Model untuk Regresi Berganda : uji-t lanjutan
Hipotesis : 1. H 0 : 1 0 H 1 : 1 0 atau 1 0 atau 1 0
2. H 0 : 2 0 H1 : 2 0 atau 2 0 atau 2 0
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Statistik uji-nya :
t hit
bj j sb j
, sb j c( j 1)( j 1) s
Derajat bebasnya = n – k - 1 Unsur ke (j+1) diagonal (X’X)-1 Akar dari KT sisaan k = banyaknya peubah penjelas
Contoh : uji-t dengan notasi matriks Dengan menggunakan data contoh pada slide sebelumnya ingin diuji apakah X1 dan atau X2 berpengaruh linier thdp Y Didapatkan bahwa
6.683 - 1.529 - 0.064 ( X' X) 1 - 1.529 0.760 - 0.028 - 0.064 - 0.028 0.005
Dugaan garis regresi-nya: yˆ 0.214 0.898x1 0.017 x2 Hipotesisnya : Peubah penjelas Xj tidak berhubungan linier dg Y H0 : j 0 H1 : j 0
Peubah penjelas Xj berhubungan linier dg Y
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Contoh : uji-t dengan notasi matriks lanjutan
Statistik uji-nya :
t hit S2=
bj j
2
sb j
, sb j c( j 1)( j 1) s
1 67.44 671031 0.08422 . 4
untuk j 1, s b1 0.76 x 0.2902 0.2530 t hit untuk j 2, s b 2 0.005 x 0.2902 0.0205 thit
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
0.898 3.55 0.253
0.017 0.829 0.0205
Contoh : uji-t dengan notasi matriks (lanjutan) d.b. = 7 - 3 = 4 a/2=.025
a/2=.025
t4,.025 = 2.776
Untuk j=1 t hit = 3.55 tolak H0 Untuk j=2 t hit = 0.829 terima H0
-tn-3,α/2 Tolak H0
-2.776
0
KESIMPULAN :
tn-3,α/2
Terima H0
Tolak H0
2.776
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
1. Cukup bukti untuk mengatakan bahwa ada hub linier antara x1 dan Y
2. Tidak cukup bukti untuk mengatakan bahwa ada hub linier antara x2 dan Y
Contoh : uji-t dengan Minitab lanjutan Regression Analysis: Y versus X1, X2 The regression equation is Y = - 0.214 + 0.898 X1 + 0.0175 X2 Predictor Constant X1 X2
Coef SE Coef -0.2138 0.7502 0.8984 0.2530 0.01745 0.02116
T -0.29 3.55 0.82
S = 0.290208 R-Sq = 83.3% R-Sq(adj) = 74.9%
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
P 0.790 0.024 0.456
> 0.05
Terima H0
Pemeriksaan Model Regresi Berganda : uji-F Dengan uji F ini kita dapat mengetahui : peubah-peubah penjelas yang ada dalam model berpengaruh secara serempak terhadap respon atau tidak. (model regresi layak atau tidak) Penambahan satu peubah penjelas ke dalam model setelah peubah penjelas lainnya ada dalam model berpengaruh nyata atau tidak terhadap respon Penambahan sekelompok peubah penjelas ke dalam model setelah peubah penjelas lainnya ada dalam model berpengaruh nyata atau tidak terhadap respon
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Uji Parameter Regresi Linier Berganda : uji-F untuk model keseluruhan H 0 : 1 2 ... k 0 H1 : min ada satu j 0, j 1,2,....., k Sumber Keragaman
b1, b2,..,bk| b0
H0 : peubah respon tidak memp hub linier dg peubah penjelas ke-1 s.d ke-k
Derajat Bebas (db)
Jumlah Kuadrat (JK)
k
b’X’Y – Y’11’Y/n
Kuadrat Tengah (KT)
JK Regresi k
Sisaan Total (terkoreksi)
n – k-1 n-1
KRITERIA PENOLAKAN : Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Y’Y – b’X’Y Y’Y – Y’11’Y/n
JKsisaan n k -1
H1 : peubah respon memp hub linier dg min 1 peubah penjelas ke-1 s.d ke-k
Fhit
Tolak H 0 jika F Fk,n k 1,α
KTregresi KTsisaan
Uji Parameter Regresi Linier Berganda : uji-F untuk model keseluruhan lanjutan
OUT PUT MINITAB : DATA TEKANAN DARAH The regression equation is Tekanan Darah = 50,5 + 12,8 Ukuran Tubuh + 0,848 Umur + 9,11 Merokok S = 7,88677 R-Sq = 72,6% R-Sq(adj) = 69,6% Analysis of Variance Source DF SS Regression 3 4610,3 Residual Error 28 1741,6 Total 31 6352,0
MS 1536,8 62,2
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
(3,28), 5%
H1 : min ada 1 j 0, j 1,2,.., k
KEPUTUSAN: tolak H0. a = 5%
KESIMPULAN: Tekanan darah memiliki hubungan linier dg min satu peubah penjelas
F P 24,71 0,000
F tabel : F
H 0 : 1 2 ... k 0
=2,95
Uji Parameter Regresi Linier Berganda : uji-F untuk model keseluruhan lanjutan
H 0 : 1 2 3 0
Statistik uji-nya: H1 : min ada satu j 0, j 1,2,3 Fhit KTregresi 24,71 KTsisaan F tabel : F
(3,28), 5%
=2,95
Keputusan: Tolak H0
Kesimpulan:
a = .05
0
Terima H0
F.05 = 2,95
Tolak H0
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
F
Cukup bukti untuk mengatakan bahwa minimum ada satu peubah penjelas yg berhubungan linier dg Y
Uji-F Parsial dan uji-F Sekuensial PADA ANALISIS REGRESI LINIER BERGANDA : Terhadap semua peubah penjelas yang tersedia : Diuji peubah penjelas apa yg berpengaruh nyata thd respon. Dari yang ada dalam model, usahakan yang dipakai hanya peubah penjelas yang keberadaannya dalam model menyumbangkan keragaman kepada garis regresi cukup besar Jika suatu peubah penjelas keberadaannya dalam model sudah dapat diwakili oleh yg lainnya, maka peubah penjelas tsb tidak perlu lagi digunakan dlm model Lebih disenangi model yang memiliki banyaknya peubah penjelas yang lebih sedikit. Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Pemeriksaan Model Regresi Berganda : uji-F Apakah penambahan X2 ke dalam model berpengaruh terhadap Y
Y β0 β1x1 ε
H 0 : 2 0 dalam model Y 0 1 x1 2 x2 H1 : 2 0 Sumber Keragaman
b1, b2 | b0
Derajat Bebas (db)
Jumlah Kuadrat (JK)
2
b’X’Y – Y’11’Y/n
1
JKb1 ,b2 | b0 JKb1| b0
Sisaan
n–3
Y’Y – b’X’Y
Total (terkoreksi)
n-1
Y’Y – Y’11’Y/n
b 2 b 0 , b1
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Kuadrat Tengah (KT)
JK b 2 | b 0 ,b1 JK sisaan JKsisaan
n -3
Fhit
KTb 2 |b0 ,b1 KTsisaan
Pemeriksaan Model Regresi Berganda : KOEFISIEN DETERMINASI BERGANDA KOEFISIEN DETERMINASI BERGANDA Proporsi keragaman pada Y dijelaskan oleh semua peubah X secara bersama-sama Keragaman yg dijelaskan SS yy SSE SSE R 1 Total Keragaman SS yy SS yy 2
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Pemeriksaan Model Regresi Berganda : Adjusted R2 R2 besarnya tidak pernah turun ketika peubah X ditambahkan ke dalam model Hanya nilai Y yang menentukan besarnya SSyy Tidak ada gunanya kalau membandingkan model yg satu dg yg sdh ditambah peubah penjelasnya.
Solusi: Adjusted R2 Setiap penambahan peubah penjelas akan menurunkan nilai adjusted R2.
n 1 SSE SSE 2 1 R SSyy n k 1 SS yy
2 Ra 1
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Validitas Model PRESS = Prediction Sum of Squares, adalah prosedur yang merupakan kombinasi dari: semua kemungkinan regresi, analisis sisaan, dan teknik validasi. Digunakan untuk mengukur validitas model.
PRESS yi yˆ i , i
2
ei,-i
2
yi
: nilai respon pada x=xi (data lengkap) yˆ i , i : nilai ramalan y pd x=xi yg diramal melalui dugaan persamaan regresi dari data tanpa amatan ke-i Model valid jika memiliki PRESS yg kecil Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
2
ei R 2 PRED 1 PRESS = 2 1 h yi y i 1 ii n
R2pred adalah statistik lainnya yg berhub dg PRESS. Model valid jika R2pred besar.
Validitas Model (lanjutan)
PROSEDUR PRESS
Mis. k adalah banyaknya peubah dalam suatu persamaan regresi, n adalah banyaknya amatan Langkah-langkahnya: 1. Sisihkan amatan ke-1, amatan ke-1 tidak digunakan, data tinggal n-1. 2. Dugalah semua ”kemungkinan model regresi” thdp n-1 data tersebut. (jika k=1 banyaknya ”kemungkinan model” hanya 1) 3. Ramal y1 dengan model yang didapat pd no.2. (lakukan untuk semua kemungkinan model hanya 1 jika k=1) ˆ 4. Hitung perbedaan y1 yg disisihkan tadi dengan hasil no.3. y1 y1k 5. Ulangi langkah 1-4 dengan menyisihkan amatan ke-2, ke-3,...., ke-n. Didapat y2 yˆ 2k , y3 yˆ3k , ..., yn yˆ nk n
2
6. Untuk setiap model regresi yang mungkin hitung : PRESS yi yˆ ik i 1
7. Pilih model yang relatif memiliki nilai PRESS terkecil, dan melibatkan peubah penjelas sedikit. Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Validitas Model (lanjutan) Contoh Proses PRESS, untuk n=11 dan k=1 Y
X
Dugaan Garis Regresi dg Data tanpa amatan ke-i
7,46
10
Y tnp 1 = 3,01 + 0,505 X tnp 1
8,06
-0,6
0,36
6,77
8
Y tnp 2 = 3,05 + 0,497 X tnp 2
7,026
-0,256
0,06553
12,74
13
Y tnp 3 = 4,01 + 0,345 X tnp 3
8,495
4,245
18,02003
7,11
9
Y tnp 4 = 3,04 + 0,500 X tnp 4
7,54
-0,43
0,18490
7,81
11
Y tnp 5 = 2,95 + 0,514 X tnp 5
8,604
-0,794
0,63043
8,84
14
Y tnp 6 = 2,46 + 0,577 X tnp 6
10,538
-1,698
2,88320
6,08
6
Y tnp 7 = 2,97 + 0,502 X tnp 7
5,982
0,098
0,00960
5,39
4
Y tnp 8 = 2,72 + 0,526 X tnp 8
4,824
0,566
0,32035
8,15
12
Y tnp 9 = 2,84 + 0,528 X tnp 9
9,176
-1,026
1,05267
6,42
7
Y tnp 10 = 3,03 + 0,498 X tnp10
6,516
-0,096
0,00921
5,73
5
Y tnp 11 = 2,88 + 0,511 X tnp11
5,435
0,295
0,08703
ramalan Yi tnp amatan ke-i
ei,-i
e i,-i kuadrat
Total = PRESS =
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
23,6229
Validitas Model Output Minitab untuk data contoh tsb The regression equation is Y = 3,00 + 0,500 X Predictor Constant X
Coef SE Coef 3,002 1,124 0,4997 0,1179
T 2,67 4,24
P 0,026 0,002
S = 1,23631 R-Sq = 66,6% R-Sq(adj) = 62,9% PRESS = 23,6210 R-Sq(pred) = 42,70% Analysis of Variance Source DF SS Regression 1 27,470 Residual Error 9 13,756 Total 10 41,226
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
MS F P 27,470 17,97 0,002 1,528
(lanjutan)
• Hasil PRESS melalui proses = hasil Minitab • Untuk k=1 hanya ada 1 model • Amatan ke-3 memberikan simpangan ramalan terbesar • Amatan ke-3 dapat dipandang sebagai amatan berpengaruh • Dugaan parameter regresi tanpa amatan ke-3 sangat berbeda dg lainnya dugaan yg ini relatif yg benar/baik
Keluarkan amatan ke-3 dari analisis. Cek nilai PRESS-nya. Cek nilai R2nya
Validitas Model Output Minitab data lengkap The regression equation is Y = 3,00 + 0,500 X Predictor Constant X
(lanjutan)
Output Minitab data tanpa amatan ke-3 The regression equation is Y tnp 3 = 4,01 + 0,345 X tnp 3
Coef SE Coef 3,002 1,124 0,4997 0,1179
T P 2,67 0,026 4,24 0,002
Predictor Coef SE Coef T Constant 4,00619 0,00221 1811,78 X tnp 3 0,345334 0,000237 1454,74
P 0,000 0,000
S = 1,23631 R-Sq = 66,6%
S = 0,00308655 R-Sq = 100,0
PRESS = 23,6210 R-Sq(pred) = 42,70%
PRESS = 0,000174853 R-Sq(pred) = 100,00%
Analysis of Variance Source DF SS Regression 1 27,470 Residual Error 9 13,756 Total 10 41,226
Analysis of Variance Source DF SS MS F P Regression 1 20,161 20,161 2116264,34 0,000 Residual Error 15 0,000 0,000 Total 16 20,161
MS F P 27,470 17,97 0,002 1,528
Menyisihkan amatan ke-3 mempengaruhi dugaan parameter, menurunkan nilai PRESS Dari sisi model, “persamaan tanpa amatan ke-3” yg terbaik. R-Sq(pred)=100,00% model sangat valid PELUANG salah memprediksi = 0 Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Validitas Model (lanjutan) Dugaan garis regresi dg data lengkap
Dugaan garis regresi tanpa amatan ke-3
PRESS = 23,6210
PRESS = 0,000174853
R-Sq(pred) = 42,70% Fitted Line Plot
R-Sq(pred) = 100,0%
Fitted Line Plot
Y = 3,002 + 0,4997 X
Y tnp 3 = 4,006 + 0,3453 X tnp 3
13
9
12 11
8
10 Y
Y tnp 3
9 8
7
7
6
6 5 4
5 5,0
7,5
10,0 X
12,5
15,0
5,0
7,5
10,0 X tnp 3
12,5
Semakin kecil nilai PRESS-nya model semakin valid semakin baik untuk memprediksi. Setiap 1 model regresi thdp 1 set data memiliki 1 nilai PRESS Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
15,0
ASUMSI ASUMSI YANG HARUS DIPENUHI DALAM ANALISIS REGRESI BERGANDA :
1. Kondisi Gauss-Marcov
1. E[ i ] 0
nilai - harapan/rataan sisaan nol
2. E[ i ] var [ ] 2 , ragam sisaan homogen untuk setiap nilai x 2
3. E[ i j ] 0, i j
( homoscedas ticity ) sisaan saling bebas/tdk ada autokorelasi
2. Galat menyebar Normal 3. Galat bebas terhadap peubah bebas, cov(x i , j ) 0, i 4. Tidak ada multikolinieritas pd peubah bebas, cov(x i , x j ) 0, i j
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB