Makalah Hasil Dasar Teori Informasi [PDF]

Citation preview

BAB I PENDAHULUAN 1.



Latar Bealakang Dalam bab ini kita berurusan dengan sumber informasi dan saluran



komunikasi. Bagian utama dari pengobatan ini dikhususkan untuk kasus diskrit. Hanya pada akhir bab ini kami menyajikan deskripsi singkat sumber kontinyu dan saluran, yang bertujuan untuk mendapatkan kapasitas kanal Gaussian bandlimited. Bagian pertama dari bab mendefinisikan sumber stasioner diskrit dan menunjukkan bagaimana kuantitas informasi yang dipancarkan dari sumber dapat diukur. Secara umum, output sumber (pesan) terdiri dari urutan simbol yang dipilih dari set terbatas, alfabet dari sumbernya. Distribusi probabilitas dikaitkan dengan alfabet sumber, dan mekanisme probabilistik mengatur emisi simbol berturut-turut dalam pesan. Umumnya, pesan yang berbeda menyampaikan jumlah yang berbeda dari informasi; sehingga jumlah informasi rata-rata, atau entropi, harus didefinisikan untuk sumbernya. Satuan ukuran untuk informasi yang diambil untuk menjadi sedikit, yaitu, informasi yang diberikan oleh emisi satu di antara dua simbol yang sama mungkin. Entropi sumber mewakili jumlah rata-rata minimum simbol biner (digit) yang diperlukan untuk mewakili setiap simbol dalam pesan. Output sumber dengan demikian dapat digantikan oleh serangkaian simbol biner yang menyampaikan jumlah informasi yang sama dan memiliki jumlah digit rata per simbol dari sumber asli sedekat yang diinginkan ke entropi sumber. Blok dalam sistem yang mengimplementasikan fungsi ini disebut sumber Encoder. Saluran komunikasi adalah media fisik yang digunakan untuk menghubungkan sumber informasi dengan penggunanya.



Pada bagian kedua dari bab kita



mendefinisikan saluran memoryless diskrit dan mempelajari properti mereka. Saluran memoryless diskrit ditentukan oleh simbol penautan hukum probabilitas dari alfabet input saluran ke simbol alfabet Keluaran saluran. Titik dasar adalah pengetahuan tentang arus informasi rata-rata maksimum yang dapat diandalkan



1



melewati saluran. Hal ini menyebabkan definisi kapasitas saluran dan masalah komputasi itu. Kedua topik ini dibahas dalam bab ini. Bagian akhir dari bab ini dikhususkan untuk penyajian saluran pengkodean teorema dan bercakap-cakap. Mereka menyediakan hubungan antara konsep entropi dari sumber dan kapasitas saluran dan menilai secara tepat apa yang handal sarana transmisi dan bagaimana hal itu dapat dicapai. Tujuan utama dari bab ini adalah untuk menyediakan kerangka umum untuk materi berikutnya yang berkaitan dengan aspek spesifik dari sistem transmisi data. Ini juga menilai batas teoritis dalam kinerja yang dapat diperoleh melalui saluran biner dan saluran aditif Gaussian. Tujuan dari setiap sistem komunikasi adalah mereproduksi pesan yang dipancarkan dari sumber ke tempat di mana pengguna informasi berada. Jarak antara sumber dan pengguna mungkin cukup besar, seperti dalam kasus transmisi antarbenua, atau sangat kecil, seperti dalam penyimpanan dan pengambilan data menggunakan unit disk komputer (dalam hal ini, jarak antara pemancar dan penerima mungkin mempertimbangkan waktu). Namun, terlepas dari jarak, ada antara sumber dan pengguna saluran komunikasi yang dipengaruhi oleh berbagai gangguan, seperti kebisingan dan distorsi. Kehadiran saluran yang terganggu membuat reproduksi yang tepat dari pesan yang dipancarkan dari sumber di tempat pengguna merupakan pencapaian yang mustahil. Namun demikian, perancang sistem komunikasi akan selalu diminta untuk memberikan kepada pengguna replika "sedekat mungkin" dari pesan asli. Wawasan yang lebih dekat tentang karakteristik pengguna lebih baik menentukan, kasus per kasus, makna "sedekat mungkin," yaitu spesifikasi kriteria yang berorientasi pengguna untuk dapat diterima. Misalnya, dalam kasus komunikasi wicara di bidang komunikasi layanan, orang biasanya puas ketika pendengar dapat memahami konten semantik dari apa yang dikatakan pembicara. Namun, cukup sering, dalam domain layanan telepon umum, pendengar ingin mengenali identitas dan suasana hati peaker melalui nada



2



dan nada suaranya, dan ini menimbulkan kriteria penerimaan yang lebih ketat. Oleh karena itu, seperti yang diilustrasikan dalam contoh-contoh ini, persyaratan pengguna yang berbeda dapat menyebabkan kriteria penerimaan yang berbeda dan, akibatnya, persyaratan bandwidth yang berbeda untuk transmisi ucapan. Sebagaimana di jelaskan, masalah kebisingan di aluran komunikasi menciptakan kebutuhan untuk spesifikasi sensitive pengguna criteria penerimaan dalam desain.



3



BAB II PEMBAHASAN Tablished, menghasilkan sejumlah terbatas kelas ekivalensi, katakanlah M, dalam interval waktu tertentu. Transmisi informasi kemudian terdiri dalam komunikasi urut urutan angka integer yang dipilih dalam set {1, 2 .... »M} dari sumber ke pengguna. Pengguna, setelah menerima indikasi kelas ekivalensi, menghasilkan perwakilan (yang ia tahu) kelas untuk memulihkan informasi yang dekat dengan aslinya. 3.2. Sumber Diam Diskrit Pertimbangkan alfabet terbatas X yang dibentuk oleh simbol M {xi} i = 1 dan tentukan pesan sebagai urutan simbol seperti (xn) oon = 0. Sumber stokastik diskrit adalah perangkat yang memancarkan pesan melalui pemilihan simbol dari alfabet X menurut distribusi probabilitas {pi} i = 1, di mana pi = P (xi). Dari sudut pandang probabilistik, seseorang dapat menganggap seluruh rangkaian pesan sebagai proses acak diskrit, yaitu urutan (£ n) oon = 0 variabel acak (RV), masingmasing mengambil nilai dalam set X dengan probabilitas distribusi {pi}. Kami akan menganggap bahwa sumbernya tidak bergerak; itu adalah, P{£i1 = x1……., £ik = xk = P {£i1+h = x1, …..,£ik+h = xk} untuk semua bilangan bulat non-negatif i1, ..., ik, h dan semua x1, ..., xk ∈ X. Dalam kasus ini, urutan pesan membentuk proses acak stasioner waktu diskrit dengan properti yang dijelaskan dalam Bab 2. 3.2.1. Ukuran informasi: entropi alfabet sumber Jumlah informasi yang dibawa oleh satu simbol sumber alpha-bet secara ketat terkait dengan ketidakpastiannya. Ketidakpastian yang meningkat harus sesuai dengan lebih banyak informasi. Sebagai contoh, ukuran huruf dalam berita utama surat kabar lebih besar ketika berita tidak terduga seperti "Kehidupan ditemukan di Mars!" Daripada dalam kasus "Pemerintahan baru di Italia." Maka



4



wajar saja jika isi informasi dari simbol ith, dilambangkan dengan I (xi), menjadi fungsi penurunan probabilitasnya. I(xj) > I(xi), if pj