Makalah Inferensi Bayesian Untuk Normal Mean [PDF]

Citation preview

BAB I PENDAHULUAN 1.1 Latar Belakang



Metode statistik adalah prosedur-prosedur yang digunakan dalam pengumpulan, penyajian, analisis, dan penafsiran data. Dalam penggunaan statistika terdapat tiga bagian utama, yaitu statistika deskriptif, probabilitas (peluang) dan statistika inferensi. Statistika deskriptif bertujuan untuk menyajikan informasi data sebagai deskripsi fakta dalam bentuk numerik, tabel, grafik atau kurva distribusi, sehingga suatu fakta atau peristiwa dapat secara mudah untuk



dipahami dan disimpulkan. Sedangkan statistika inferensi menggunakan



konsep probabilitas untuk membuat perkiraan, prediksi, peramalan, ataupun generalisasi dari suatu objek berdasarkan informasi data yang diambil fakta sebagai populasi atau sampel (Mustafid, 2003). Inferensi statistik dapat dibedakan menjadi dua yaitu estimasi parameter dan uji hipotesis. Estimasi parameter dibedakan menjadi dua yaitu estimasi parameter titik dan estimasi parameter berupa interval. Inferensi statistik dapat dicari dengan metode klasik dan metode Bayes (Walpole dan Myers, 1995). Pada suatu penelitian terkadang diamati karakteristik dari sebuah populasi. Beberapa macam ukuran statistik digunakan untuk mengetahui karakteristik dari populasi, misalnya rataan, varian, median, atau proporsi. Pada inferensi statistik ingin diperoleh kesimpulan mengenai populasi, meskipun tidak praktis untuk mengamati keseluruhan individu yang menyusun populasi atau tidak mungkin jika populasinya tak hingga. Dengan berbagai keterbatasan dan kendala, tidak dimungkinkan mengamati keseluruhan dari elemen populasi, maka dapat dilakukan langkah alternatif yaitu pendugaan populasi dengan menggunakan sampel yang diambil secara acak dari sebuah populasi. Pada teori estimasi titik dapat dilakukan dengan dua metode yaitu metode klasik dan metode Bayes. Metode klasik sepenuhnya mengandalkan proses inferensi pada data sampel yang diambil dari populasi, sedangkan metode Bayes disamping memanfaatkan data sampel yang diperoleh dari populasi juga memperhitungkan suatu distribusi awal yang disebut distribusi prior (Walpole dan Myers, 1995). Salah satu teknik yang digunakan dalam metode klasik adalah metode maksimum likelihood. Metode klasik memandang parameter sebagai besaran tetap yang tidak diketahui harganya, dan inferensi didasarkan hanya pada informasi dalam sampel. Metode Bayes memandang parameter sebagai variabel yang menggambarkan pengetahuan awal tentang parameter sebelum pengamatan dilakukan dan dinyatakan dalam suatu distribusi yang 1



disebut dengan distribusi prior (Bolstad, 2007). Setelah pengamatan dilakukan, informasi dalam distribusi prior dikombinasikan dengan informasi dengan data sampel melalui teorema Bayes, dan hasilnya dinyatakan dalam bentuk distribusi yang disebut distribusi posterior yang selanjutnya menjadi dasar untuk inferensi di dalam metode Bayes (Berger, 1990). Teorema Bayes memungkinkan seseorang untuk memperbaruhi keyakinannya mengenai sebuah parameter setelah data diperoleh. Sehingga dalam hal ini mengharuskan adanya keyakinan awal (prior) sebelum memulai inferensi. Pada dasarnya distribusi prior bisa diperoleh berdasarkan keyakinan subjektif dari peneliti itu sendiri mengenai nilai yang mungkin untuk parameter yang diestimasi, sehingga perlu diperhatikan bagaimana cara menentukan prior.



1.2 Rumusan Masalah Permasalahan-permasalahan yang akan dibahas dalam penulisan ini adalah : 1. Bagaimana teorema Bayes untuk normal mean dengan prior diskrit ? 2. Bagaimana teorema Bayes untuk normal mean dengan prior kontinu ? 3. Bagaimana memilih normal prior ? 4. Bagaimana Credible interval untuk normal mean ? 5. Bagaimana memprediksi kepadatan untuk pengamatan berikutnya ? 1.3 Tujuan Penelitian Tujuan dari pembuatan makalah ini adalah sebagai berikut : 1. Untuk mengetahui bagaimana teorema Bayes untuk normal mean dengan prior diskrit. 2. Untuk mengetahui bagaimana teorema Bayes untuk normal mean dengan prior kontinu. 3. Untuk mengetahui bagaimana memilih normal prior. 4. Untuk mengetahui bagaimana Credible interval untuk normal mean. 5. Bagaimana memprediksi kepadatan untuk pengamatan berikutnya. 2



BAB II PEMBAHASAN Banyak variabel acak yang tampaknya berdistribusi normal, setidaknya mendekati. Alasan di balik teorema limit pusat menunjukkan mengapa demikian. Ada beberapa variabel acak yang mana jumlahnya mendekati tak hingga akan membentuk variabel acak yang independen yang menyebabkan dia mendekati distribusi normal. Bentuk dari setiap individu dari variabel acak "rata-rata yang dihasilkan" mendekati ke bentuk normal. Sampel data dari jumlah distribusi tersebut akan dilakukan pendekatan oleh distribusi normal. Dalam pembahasan ini kita menunjukkan bagaimana inferensi Bayesian pada sampel acak dari distribusi normal. 2.1 TEOREMA BAYES UNTUK RERATA NORMAL DENGAN PRIOR DISKRIT Pengamatan Tunggal Kita akan melakukan pengamatan tunggal dari fungsi kepadatan peluang (fkp) bersyarat distribusi normal



f(yl ) dengan varians diketahui



kemungkinan nilai



untuk mean. Kita akan memilih distribusi probabilitas prior



,. . . ,



diskrit yang hasilnya akan kita gunakan sebagai



. Ada sejumlah m



parameter, sebelum kita melakukan



pengamatan. Jika kita sama sekali tidak memiliki informasi mengenai prior, kemungkinan kita akan memberikan kemungkinan yang sama untuk semua prior. Likelihood memberikan perbandingan bobot dari semua nilai-nilai parameter yang berdasarkan kemungkinan dari data observasi yang diberikan pada masing – masing nilai parameter. Posterior sebanding kali prior



likelihood.



Likelihood dari Pengamatan Tunggal Pengamatan distribusi bersyarat dari y| adalah normal dengan mean diketahui. Fungsi kepadatan peluangnya adalah



dan varians



3



Likelihood dari setiap nilai parameter adalah nilai dari pengamatan distribusi pada nilai yang telah diamati. Bagian yang tidak bergantung pada parameter sama untuk semua nilai parameter, sehingga dapat dimasukkan ke dalam konstanta proporsionalitas. Bagian yang membentuk fungsi dari parameter adalah bagian penting. Berikut bentuk likelihood yang diberikan.



di mana y adalah konstanta tetap pada nilai yang telah diamati dan dengan nilai yang mungkin.



boleh bervariasi sesuai



Tabel untuk menampilkan Teorema Bayes Kita menggunakan Tabel untuk membantu dalam menemukan distribusi posterior menggunakan teorema Bayes. Kolom pertama dan kedua berisi nilai-nilai yang mungkin dari parameter dan masing – masing probabilitas priornya. Kolom ketiga berisi likelihood, yang mana distribusi pengamatan telah dievaluasi untuk setiap nilai yang mungkin dari dimana y telah diyakini pada nilai yang telah diamati. Ada dua metode yang dapat kita gunakan untuk mengevaluasi likelihood. Berikut contoh soal yang mengandung kedua metode tersebut :



Mencari likelihood dari tabel "koordinat distribusi normal" Metode pertama adalah untuk mencari likelihood dari tabel "koordinat distribusi normal”. Diberikan



4



untuk setiap nilai yang mungkin dari . Z berdistribusi normal baku (0, 1). Likelihood dapat ditemukan dengan melihat f(z) pada "koordinat dari distribusi normal baku "yang diberikan pada Tabel distribusi normal. Berikut tabel teorema Bayesnya :



Mencari likelihood dari fungsi kepadatan normal. Metode kedua adalah dengan menggunakan rumus fungsi kepadatan peluang dari distribusi normal, dengan y adalah nilai kostan sesuai dengan yang diberikan, sedangkan bisa bervariasi sesuai dengan semua nilai yang mungkin.



Untuk sampel acak dari Pengamatan Normal Biasanya kita memiliki sampel acak y1,. . . ,yn dari pengamatan kecuali pengamatan tunggal. Posterior selalu sebanding dengan prior



likelihood. Pengamatan pada sampel acak



independen satu sama lain, sehingga likelihood marginal dari sampel adalah hasil dari observasi individual pada likelihood. Maka diberikan



5



Teorema Bayes dengan sebuah prior diskrit diberikan sebagai berikut.



Kita sedang mempertimbangkan kasus di mana distribusi dari masing-masing pengamatan yj| adalah normal dengan mean



dan varians



yang diketahui.



Mencari Probabilitas Posterior dengan Menganalisis Pengamatan secara Berurutan Satu per Satu. Kita dapat menganalisis suatu pengamatan satu per satu , secara berurutan y1,. . . ,yn dan biarkan posterior dari pengamatan sebelumnya menjadi prior untuk pengamatan selanjutnya. Likelihood dari pengamatan tunggal yj adalah kolom nilai dari distribusi pengamatan pada setiap nilai parameter yang mungkin pada saat sudah diamati. Perhatikan contoh soal berikut :



6



Mencari probabilitas posterior dengan menganalisis sampel bersama-sama dalam satu langkah. Posterior sebanding dengan prior



likelihood, dan likelihood marginal dari sampel



adalah hasil dari likelihood dari masing – masing observasi. Masing-masing pengamatan adalah normal, sehingga memiliki likelihood normal. Berikut diberikan likelihood marginalnya. 7



Menjumlahkan pangkat pada eksponennya



Pangkat dari eksponen tersebut bisa dibentuk seperti berikut



Maka diperoleh.



Likelihood dari sampel acak normal y1,. . . ,yn sebanding dengan likelihood dari sampel mean ̅. Ketika kita memasukkan bagian yang tidak melibatkan



ke perbandingan kita mendapatkan



Kita mengakui bahwa likelihood ini memiliki bentuk distribusi normal dengan ratarata



dan varians



. Mean sampel ̅, biasanya didistribusikan dengan mean



dan varians



. Jadi likelihood marginal dari sampel acak sebanding dengan likelihood sampel mean, sebagai berikut.



8



Berikut contoh soalnya :



Kita dapat menganggap ini sebagai penggambaran nilai tunggal dari sampel mean ̅, dari distribusi normal dengan mean



dan varians



. Ini akan memudahkan kita dalam



melakukan analisis sampel acak. 2.2 TEOREMA BAYES UNTUK NORMAL MEAN DENGAN PRIOR KONTINU Kita memiliki sampel acak y1,. . . ,yn dari distribusi normal dengan mean varians diketahui



. Hal ini lebih realistis untuk dipercaya mengenai semua nilai



dan yang



mungkin, setidaknya dalam interval. Ini berarti kita harus menggunakan prior kontinu. Kita ketahui bahwa teorema Bayes dapat diringkas yaitu “posterior sebanding dengan prior likelihood”.



Di sini kita ketahui g( ) menjadi prior kontinu. Ketika priornya adalah diskrit, kita mengevaluasi posterior dengan membagi prior



likelihood oleh jumlah prior



likelihood



untuk semua nilai parameter mungkin. Integrasi untuk variabel kontinu adalah analogi dari penjumlahan untuk variabel diskrit. Oleh karena itu kita dapat mengevaluasi posterior dengan membagi prior



likelihood dengan integral dari prior



likelihood atas semua kisaran nilai



parameter yang mungkin. 9



Untuk distribusi normal, likelihood dari sampel acak sebanding dengan likelihood dari sampel mean ̅.



Ini berlaku untuk prior kontinu g( ). Namun, itu membutuhkan integrasi yang mungkin harus dilakukan secara numerik. Kemudian kita akan melihat beberapa kasus khusus di mana kita dapat menemukan posterior tanpa harus melakukan integrasi. Untuk kasus - kasus ini, kita harus mampu mengenali kapan kepadatan harus normal dari bentuk yang diberikan dalam persamaan. Kepadatan Prior Mentah untuk



(Prior Jeffrey untuk Normal Mean)



Kita tahu bahwa nilai-nilai aktual yang diberikan oleh prior kepada setiap nilai yang mungkin adalah tidak penting. Mengalikan semua nilai-nilai prior oleh konstanta yang sama akan kalikan integral dari prior



likelihood oleh konstanta yang sama, sehingga akan



mengkanselasi dan kita akan mendapatkan posterior yang sama. Prior mentah memberikan bobot yang sama kepada semua nilai yang mungkin yaitu g( ) = 1. Prior mentah ini bukan distribusi prior yang benar-benar tepat karena -



<