Teori informasi

konsep dasar teori diperkenalkan di empat puluhan abad kedua puluh, Shannon. teori informasi - ilmu proses mentransfer, menyimpan dan mengambil data dalam sistem alam, teknis dan sosial. Dalam banyak aplikasi dari bidang ilmiah seperti ilmu komputer, linguistik, kriptografi, teori kontrol, pengolahan gambar, genetika, psikologi, ekonomi, organisasi metode produksi yang digunakan ilmu ini.

Dalam kondisi modern dengan teori informasi yang sangat terkait erat dengan teori coding, membahas masalah yang paling umum kesesuaian antara sinyal dan pesan, dan teori pemrosesan sinyal, dimana kuantisasi yang dipelajari dan sinyal pemulihan dan spektral dan analisis korelasi daripadanya.

teori informasi menganggap konsep dasar dari "informasi" untuk sebagian besar kuantitatif, tanpa memperhitungkan nilai, dan kadang-kadang berarti. Dalam pendekatan ini, sebuah halaman teks akan berisi sekitar jumlah yang sama dari data yang ditentukan oleh sejumlah tanda-tanda dan simbol-simbol, dan tidak tergantung pada kenyataan bahwa, tegasnya, ada dicetak, bahkan jika itu benar-benar set tidak masuk akal dan kacau beberapa simbol.

Pendekatan ini dibenarkan, tetapi hanya untuk simulasi sistem komunikasi, karena mereka harus akurat mengirimkan informasi tentang saluran komunikasi, yang bisa merupakan set karakter dan simbol. Kemudian, bila diperlukan untuk memperhitungkan nilai dan makna dari data, pendekatan kuantitatif tidak dapat diterima. Keadaan ini memberlakukan pembatasan besar pada bidang aplikasi yang mungkin dari teori ini.

Dasar-dasar teori informasi melibatkan pertimbangan berbagai isu, termasuk langsung berhubungan dengan transmisi dan penerimaan data. Skema komunikasi utama, yang dianggap dalam mengajar adalah sebagai berikut. Teori Informasi dan Coding Dia menganggap bahwa ini adalah sumber pesan, yang merupakan kata atau kumpulan kata-kata tertulis huruf-huruf tertentu dari alfabet. Sumber pesan dapat berupa teks untuk setiap alami atau bahasa buatan, bahasa manusia, database dan beberapa model matematik, menciptakan urutan huruf. Pemancar mengubah pesan menjadi sinyal yang sesuai dengan sifat fisik dari saluran komunikasi - media untuk transmisi sinyal. Selama berjalannya seperti itu terganggu, yang memperkenalkan distorsi dalam nilai parameter informasi. Penerima pulih pesan asli dari sinyal terdistorsi yang diterima. Pesan dalam bentuk dikurangi datang ke tujuan - orang tertentu atau perangkat teknis.

Sumber pesan adalah statistik di alam, yaitu munculnya setiap pesan ditentukan oleh probabilitas tertentu. teori informasi Shannon percaya bahwa jika probabilitas pesan adalah sama dengan kesatuan, yaitu, penampilannya secara signifikan dan ketidakpastian tidak percaya bahwa itu tidak membawa informasi apapun.

Salah satu masalah penting dari teori informasi menganggap koordinasi saluran komunikasi dan informasi properti dari sumber pesan. Bandwidth ditentukan oleh unit 1 bit per detik.

Satu masalah dengan sistem komunikasi gangguan terhadap jalur sinyal yang diinginkan. Shannon, sayangnya, tidak memberi kita metode khusus untuk menangani mereka. Metode penghapusan termudah yang diulang berkali-kali pesan tidak sangat efektif karena dibutuhkan lebih banyak biaya waktu untuk transmisi informasi. Banyak efisiensi yang lebih besar memungkinkan penggunaan kode yang memungkinkan Anda untuk mendeteksi dan memperbaiki kesalahan transmisi data.