Enformasyon Teorisi
Kayıtlı Üye
ENFORMASYON TEORİSİ
Sponsorlu Bağlantılar
O yıllardaki temel sorun iyi bir iletişimin nasıl olabileceği (daha sonra görüleceği gibi sinyal kanalda iletilirken bazı istenmeyen değişikliklere uğrar,daha iyi bir iletişimden kasıt bu istenmeyen değişimlerin kontrol altına alınabilmesidir) ve şifreleme idi.Bu amaçla yola çıkan Shannon önce iletişimin matematiksel bir modelini yapmayı düşündü ve böylece enformasyon teorisinin temelleri atılmış oldu.
Peki,şu anda enformasyon teorisi ne durumda? Teorinin kullanım alanı hızla genişleyip kısa sürede mühendisliğin dışına çıktı.Teori tamamen istatistiksel olduğu için isatistiksel fizik ile paralellikler gösterir ve belirsizlik kavramı ile kuantum fiziğine yaklaşır ama bundan daha fazlası da mevcut:
"I think of my lifetime in physics as divided into three periods. In the first period,extending from the begining of my career until the early 1950 s,I was in the grip of the idea that everything is particles.I was looking for ways to build all basic entities out of the lightest,most fundamental particles...
I call my second period everything is fields...
Now I m in the grip of a new vision,That everything is information ... the more I see possible fundamental roles for logic and information as the the bedrock of physical theory..."
John A. Wheeler (otobiyografisinden-1998)
Enformasyonu bu kadar önemli yapan ne? Şüphesiz, Wheeler in sözünü ettiği enformasyon ile Shannon un kastettiği enformasyon kavramsal olarak özdeş değil.Dolayısıyla en temel olan enformasyonun iyi bir tanımı yapılmalı.Şimdilik bundan uzağız ama işe enformasyon teorisinin temel kavramları ile başlayabiliriz...
Kavram Olarak Enformasyon
Enformasyon,iletişim sürecinin temel bir kavramı olarak gözümüze çarpıyor;ancak teoride bizim için önemli olan tam bir tanımdan çok enformasyonun ölçülebilir bir nicelik oluşu.
Enformasyon kaynağının sahip olduğu sonlu sayıdaki durumlarından birini dışarı vermesi (mesaj) sonucu,hedefe doğru bir enformasyon aktarım sürecinin başladığını düşünebiliriz.Kaynağın sonlu sayıdaki her bir durumunun ortaya çıkması (dışarı verilmesi) olasılıklarını tanımlarsak,bu olasılıklar yardımıyla açığa çıkan enformasyon miktarini belirtebiliriz. Enformasyon,iletişim sürecinin temel bir kavramı olarak gözümüze çarpıyor;ancak teoride bizim için önemli olan tam bir tanımdan çok enformasyonun ölçülebilir bir nicelik oluşu.
Genel Anlamda İletişim Sistemi
Genel anlamda iletişim sistemi 5 elemandan oluşur.
KAYNAK--->VERİCİ--->KANAL--->ALICI--->HEDEF
Enformasyon kaynağı;mesaj (ya da mesajlar dizisi) üreten herhangibir sistem olarak düşünülebilir. Üretilen bu mesaj,sistemin sahip olduğu sonlu sayıdaki durumlarından birinin dışarı verilmesidir.
Verici;kaynak tarafından üretilen mesajı, kanalda iletilebilecek biçime dönüştüren elemandır.Mesajın kanalda iletilebilecek biçimine sinyal adı verilir.
Kanal;sinyalin alıcıya iletildiği ortamdır.
Alıcı;sinyali,hedef tarafından algılanabilecek biçime dönüştüren elemandır.Alıcı;sinyali yeniden mesaj şekline dönüştürerek,vericinin yaptığı işlemin tersini yapmış olur.
Hedef;mesajın ulaştığı son noktadır.
En basit şekliyle iletişim sistemi;telefon aracılığı ile konuşan iki insan olarak düşünülebilir.Bu durumda enformasyon kaynağı,konuşan insan;verici,telefon ahizesi;kanal, telefon kabloları;alıcı,diğer taraftaki telefonun kulaklığı; hedef de diğer taraftaki insandır. Sinyalin kanalda iletimi sırasında -ortamın özelliklerinden dolayı- bazı değişimler oluşur.İstenmeyen bu değişimler gürültü olarak adlandırılır ve bu sebeble üretilen mesaj ile hedefin aldığı mesaj birbirinden farklı olur.
Genel Anlamda Enformasyon Teorisi ve Kavramları
Enformasyon teorisi -en temelde- kaynağın ürettiği mesajın enformasyon miktarı,kanalın iletebileceği maksimum enformasyon miktarı,iletim sırasında oluşan hatanın düzeltilmesi ve daha verimli bir iletim için kodlama (ya da şifreleme) yapılması gibi konularla ilgilenir.
Bunları yaparken,mesaj üretilme sürecinin, kaynağın sahip olduğu sonlu sayıdaki durumlardan birinin rastlantısal olarak dışarı verilmesi şeklinde olduğu kabul edilir.
Fakat bu;iki insanın telefonla iletişimi örneği için pek de yeterli değil.Çünkü kullanılan kelimelerdeki harfler tamamen rastlantısal olarak seçilmiyor.Mesajın anlam içeriği şimdilik göz ardı edilirse,daha iyi bir yaklaşım şöyle düşünülebilir:kullanılan harflerin seçimi tamamen rastlantısal değildir.(örneğin türkçede "a" harfi "v" harfine göre daha çok kullanılır,dolayısıyla bu harf daha büyük bir olasılıkla ortaya çıkar)Buna göre her harfin o dildeki kullanım sıklığı için ayrı olasılıklar atanır.Daha da ötesi;harflerin ard arda gelmeleri olasılıkları da atanabilir.(yine türkçede "a" harfinden sonra "k" harfinin gelme olasılığı,"a" harfinden sonra "g" harfinin gelme olasılığından daha fazladır)
Teoriye göre,kaynaktaki p olasılıklı bir durumun ortaya çıkması (mesaj oluşumu) log2(1/p) lik bir enformasyon oluşumudur.Burada logaritma 2 tabanındadır ve bu taban sadece birim seçimi ile ilgilidir.
Enformasyon miktarının bu tanımından şu sonuçlar çıkıyor:
*Ortaya çıkma olasılığı 1 olan bir durumun ortaya çıkması ile bir enformasyon oluşmaz.
*Oluşma olasılığı daha küçük olan durumun ortaya çıkması,büyük olana göre,daha büyük bir enformasyon miktari oluşturur.
En basit örnek olarak demir bir para ile yazı-tura atılması olayı düşünülebilir:Bu atış sonucunda paranın yazı ya da tura geldiğinin öğrenilmesi 1 bit lik bir enformasyon elde edilmesi anlamındadır.(yazı ya da tura gelme olasılığı 1/2)
Görüldüğü gibi kullanılan birim "bit" olarak adlandırılır.
Kaynağın entropi si,sahip olduğu durumların taşıdığı enformasyon miktarlarının ortalamasıdır.
å i pi.log2(1/pi)
Entropi kavramı ile belirsizlik kavramı bu teoride aynı amaç için kullanılır, yani entropi yerine belirsizlik de denilebilir. Entropinin (sistemdeki farklı durumların enformasyonları ortalamasının) -ya da belirsizliğin-;her durumun ortaya çıkma olasılığının eşit olduğu zaman,maksimum olduğu görülebilir.
Enformasyon'un Fizik ile İlişkisi...
Enformasyon teorisi ile fizik arasındaki olası bir ilişki nasıl olabilir?
Genel bir iletişim sisteminde kaynak yerine doğayı -ya da daha geniş anlamda evreni- ve hedef yerine de onu anlamaya calişan insanı koyarsak böyle bir ilişkinin kurulması olası gibi görünüyor.Bu durumda enformasyon için "bilgimizde değişiklik oluşturan şey" tanımı yapılabilir.Üstelik enformasyon teorisi yardımıyla bilgimizde meydana gelen değişikliği niceliksel olarak ifade edebiliriz.
Enformasyon teorisi enformasyonu niceliksel bir kavram olarak ele alıyordu ve onun için bir bağıntı veriyordu.Bu bağıntının yorumlanması sonucu ortaya çıkan iki sonuç şöyle yorumlanacaktır bu durumda:
*Ortaya çıkma olasılığı 1 olan bir durumun ortaya çıkması ile herhangibir enformasyon elde edilmez.Yani; iki yüzü de tura olan bir parayı attığımızda gelecek olanın tura olacağını zaten biliyoruzdur,bu atış sonucu bilgimizde herhangibir değişiklik oluşmaz.
*Ortaya çıkma olasılığı daha küçük olan bir durumun ortaya çıkması sonucu oluşan enformasyon miktari daha büyüktür (daha olası durumların enformasyonlarına göre) Yani; bir deney yaptığımızda eğer daha az beklediğimiz bir sonuç ile karşılaşırsak bilgimizdeki değişim daha büyük olur.
Basit bir örnek konuyu daha iyi açıklayacaktır. Elimizde sekiz siyah renkli kavanozun içinde reçel bulunduğunu düşünelim ve reçellerden sadece biri farklı bir çeşit olsun.Karşımızda bulunan birine -o kişi hangi kavanozdakininin farklı olduğunu biliyor- sorular sorarak farklı olanı bulmaya çalışalım.(Pek de heyecan verici bir oyun gibi görünmüyor))
Enformasyon teorisine göre doğru kavanozu bulduğumuzda 3 bit lik enformasyon elde etmiş olacağız.Çünkü 8 olası kavanozdan biri bizim aradığımızdır ve 1/8 bu kavanozu bulma olasılığımızdır.Bunun 2 tabanına göre logaritması -ki bu enformasyon miktarıdır- 3 dür. (şimdilik - işaretini göz önüne almıyoruz).Aynı zamanda enformasyon ortalaması da -entropi- 3 dür.Bu şöyle yorumlanabilir:eğer 3 soru sorarsak,cevaplarını aldığımızda doğru olanı bulmuş olacağız.Sorular iki cevaplı olmalıdır (evet/hayır) ve 3 ,bu soruların minimum sayısıdır. öyle ise sorular şu şekilde olabilir:
Kavanozları dörderli iki guruba ayırarak,farklı olan ilk gurubta mı? (cevap hayır olsun)
Ikinci gurup kavanozu yine iki ye ayırarak,farklı olan ilk gurubta mi?(cevap evet)
İlk gurubtaki iki kavanozu göz önüne alarak,farklı olan ilk kavanoz mu? (cevap hayır)
Öyle ise farklı olan kavanoz son ayırdığımız gurubtaki ikinci kavanozdur.
Fakat fizik ile olan ilişki reçel kavanozlarından daha derindir. İlki,enformasyon teorisindeki entropi ile istatistiksel fizikteki entropi kavramlarının matematiksel tanımlari zıt işaretlidir.Zamanın akış yönünü entropinin arttığı yön olarak algıladığımıza göre,entropi kavramı yerine enformasyon kavramı getirerek şöyle düşünebiliriz:
Bir sistem için zamanın akış yönünü,sistemin sahip olduğu enformasyonun azalış yönü olarak algılarız
Termodinamiğin ikinci yasasına göre,dengede olmayan sistem dengeye doğru evrilir ve bu sırada entropisi artar.Sistem bulunma olasılığının az olduğu durumlardan,bulunma olasılığının yüksek olduğu durumlara doğru gelişir.Enformasyon-entropi arasındaki ilişkiye göre dengede olmayan sistemin evrim yönü sahip olduğu enformasyonun azaldiği yöndür.
Bu noktada enformasyonun evrendeki en temel şey olduğu kabul edilip sistemlerin evrimi bu temelle açıklanabilir.(Wheeler in düşündüğünün bu olup olmadığını bilmiyorum) Temel parçaçıklar özdeş olduklarından,bu temel parçacıklardan oluşan yapılarda önemli olan,temel parçacıkların bir araya geliş düzenleridir yani enformasyon...Bu enformasyon elde edildiğinde aynı yapı başka bir yerde oluşturulabilir.(Temel parçacıkların özdeş olduğu ve her yerde bulunabilecekleri düşüncesiyle)
Quo vadis?
)) 
