{"id":127,"date":"2022-10-01T00:46:00","date_gmt":"2022-09-30T21:46:00","guid":{"rendered":"https:\/\/plutonwp.com\/blogger\/?p=127"},"modified":"2022-12-08T12:41:47","modified_gmt":"2022-12-08T09:41:47","slug":"bilgi-entropisi","status":"publish","type":"post","link":"https:\/\/kriptogram.net\/blog\/bilgi-entropisi\/","title":{"rendered":"Bilgi Entropisi"},"content":{"rendered":"\n

53 gibi herhangi bir pozitif tamsay\u0131 \"3 . 10^0 + 5 . 10^1\" \u015feklinde 10’luk tabanda ifade edilebilir. Tabii ki bu say\u0131y\u0131 2’lik gibi farkl\u0131 tabanlarda da ifade edebiliriz. 53 say\u0131s\u0131n\u0131 ikilik tabanda 110101 olarak 6 hane ile ifade edebiliriz. Ayn\u0131 zamanda \"1 . 2^0 + 0 . 2^1 + 1 . 2^2 + 0 . 2^3 + 1 . 2^4 + 1 . 2^5 \" 10’luk tabanda 53 say\u0131s\u0131na e\u015fittir.<\/p>\n\n\n\n

Akl\u0131mdan tuttu\u011fum say\u0131y\u0131 tahmin et oyunu oynad\u0131\u011f\u0131m\u0131z\u0131 d\u00fc\u015f\u00fcn\u00fcrsek, ikilik tabanda 6 hane ile ifade edilen 53 (110101) say\u0131s\u0131n\u0131 tahmin etme \u015fans\u0131n\u0131z nedir? 6 hanenin hepsini do\u011fru bilmeniz gerekti\u011fine g\u00f6re her hanede \"1/2\" \u015fans\u0131n\u0131z oldu\u011fu a\u00e7\u0131kt\u0131r (0 veya 1). Toplam 6 hane i\u00e7in (Olas\u0131l\u0131k ve \u0130statistik dersinden hat\u0131rlayal\u0131m) 6 adet \"1/2\" ‘nin \u00e7arp\u0131m\u0131 olan \"1/64\",  do\u011fru tahminde bulunabilece\u011fimiz olas\u0131l\u0131\u011f\u0131 ifade eder. K\u0131saca do\u011fru tahmin \u015fans\u0131m\u0131z\u0131 \"1/64\" olarak hesaplar\u0131z. \"n\" haneli bir say\u0131y\u0131 tahmin etme \u015fans\u0131m\u0131z \"1/2^n\"‘dir. \u00c7\u00fcnk\u00fc \"n\" hane ile en fazla \"2^n\" say\u0131 \u00fcretilebilir. Tahminimiz ise bu say\u0131lardan sadece birtanesidir. Peki bu durumda n haneli bir say\u0131 i\u00e7in, bilgi teorisinde entropi <\/em>olarak da ifade edilen bilinmezlik <\/em>matematiksel olarak nas\u0131l ifade edilebilir? Evet bilinmezli\u011fi \"n\" olarak ifade edebiliriz. \u00c7\u00fcnk\u00fc bilmedi\u011fimiz \"n\" hane vard\u0131r. Logaritmik olarak \"n = log_(2^n)\" olarak da ifade edebiliriz. \u00d6rne\u011fimiz i\u00e7in entropy = log(m\u00fcmk\u00fcn olan say\u0131 adedi)<\/em> \u015feklinde bir form\u00fcl elde ederiz. <\/p>\n\n\n\n

Entropi, Shannon taraf\u0131ndan (Shannon, C. E., A mathematical theory of communication, Bell System Technical Journal, 27, 4 (1948) 379\u2013423.) tan\u0131mlanan ve bilgi teorisinden gelen bir kavramd\u0131r. Entropi sistemde var olan belirsizli\u011fin derecesini \u00f6l\u00e7er. Bir dizi ne kadar tahmin edilebilir ise o kadar fazla bilgi i\u00e7ermektedir. Bu y\u00fczden bilgiyi gizlemenin yolu, tahmin edilebilirli\u011fi ortadan kald\u0131rmakt\u0131r. Entropi y\u00fcksek rastgelelik, bilinmezlik ile a\u00e7\u0131klan\u0131r. <\/p>\n\n\n\n

\u00d6rne\u011fimiz \u00fczerinden devam ediyoruz. 6 bit ile ifade edilen 53 (110101) say\u0131s\u0131n\u0131n herhangi bir hanesinin de\u011ferini \u00f6rne\u011fin 6. haneyi bildi\u011fimizi varsayarsak entropi art\u0131k 6 de\u011fil 5’tir. \u00c7\u00fcnk\u00fc bilinmezli\u011fi ifade eden matematiksel de\u011fer azalm\u0131\u015ft\u0131r. Tahmin \u015fans\u0131m\u0131z daha da artm\u0131\u015ft\u0131r. 6 olarak ifade edilen entropinin rastgeleli\u011fi azalm\u0131\u015ft\u0131r. 6. haneyi bildi\u011fimize g\u00f6re bu hane bizim i\u00e7in art\u0131k l\u00fczumsuzdur. Tahmin \u015fans\u0131m\u0131z art\u0131k \"1/32\" olarak hesaplan\u0131r. Say\u0131m\u0131z\u0131 ifade eden 6 hane aras\u0131nda fonksiyonel bir ba\u011f\u0131ml\u0131l\u0131\u011f\u0131n a\u00e7\u0131\u011fa \u00e7\u0131kmamas\u0131 da \u00f6nemlidir. 5 haneyi biliyor olmam\u0131z bile 6. haneyi hesaplamam\u0131z i\u00e7in yeterli olmamal\u0131d\u0131r. Say\u0131m\u0131z\u0131 \"a_5, a_4, a_3, a_2, a_1, a_0\" bitler \u015feklinde ifade edersek, \"a_5 = a_4 + a_3 + a_2 + a_1 + a_0 (mod2)\" \u015feklindeki bir bilgi hanelerin rastgele dizilmedi\u011fini ve bir hanenin di\u011ferleri ile hesaplanabildi\u011fini g\u00f6sterir. Bu durum dizi elemanlar\u0131 aras\u0131nda fonksiyonel bir ba\u011flant\u0131 oldu\u011funu g\u00f6sterir ve az rastgelelik anlam\u0131na gelmektedir. Rastgelelik azald\u0131k\u00e7a tahmin edilebilirlik artar.  <\/p>\n\n\n\n

Birbirinden ba\u011f\u0131ms\u0131z olarak her bir hanenin tahmin edilme olas\u0131l\u0131\u011f\u0131n\u0131n \"1/2\" oldu\u011fundan bahsetmi\u015ftik (0 ya da 1). Bir an i\u00e7in, elimizde baz\u0131 olas\u0131l\u0131ksal bilgilerin oldu\u011funu ve dizideki elemanlardan her birinin, di\u011ferlerinden ba\u011f\u0131ms\u0131z olarak \"1\" olma olas\u0131l\u0131\u011f\u0131n\u0131n \"0.75\" oldu\u011funu varsayal\u0131m. Bu durumda entropi hala dizideki eleman say\u0131s\u0131 olan \"n\" midir? Tahmin etme olas\u0131l\u0131\u011f\u0131m\u0131z hala \"1/2^n\" midir? \u0130\u015fte bu problem \u00fcnl\u00fc bilgi teorisyeni Shannon taraf\u0131ndan \u00e7\u00f6z\u00fclm\u00fc\u015ft\u00fcr.<\/p>\n\n\n\n

Elbette hala \"n\" haneli bir dizi i\u00e7in m\u00fcmk\u00fcn olan \"2^n\" dizi mevcuttur. \"n\" uzunluktaki bir dizi i\u00e7in her eleman\u0131n \"1\" olarak se\u00e7ilme olas\u0131l\u0131\u011f\u0131n\u0131n \"0.75\" oldu\u011fu bir durumda, \"1\"‘lerin dizide g\u00f6r\u00fclme ortalamas\u0131 \"n(0.75)\"‘tir. Daha a\u00e7\u0131k bir tabirle n eleman\u0131n ortalama \"\% 75\"‘i \"1\" olarak g\u00f6r\u00fcn\u00fcr. Burada dikkat \u00e7ekmek istedi\u011fim konu \"1\"‘lerin g\u00f6r\u00fclme olas\u0131l\u0131\u011f\u0131n\u0131n \"1/2\"‘den b\u00fcy\u00fck ya da k\u00fc\u00e7\u00fck olmas\u0131 entropiyi azalt\u0131r. \"1\"‘lerin g\u00f6r\u00fclme olas\u0131l\u0131\u011f\u0131 d\u00fc\u015f\u00fcyorsa \"0\"‘\u0131n ki art\u0131yor demektir. Yani tahmin etme olas\u0131l\u0131\u011f\u0131m\u0131z art\u0131yor demektir. Entropi \"1\"‘lerin g\u00f6r\u00fclme olas\u0131l\u0131\u011f\u0131n\u0131n \"1/2\" oldu\u011fu durumda en y\u00fcksektir. \u00c7\u00fcnk\u00fc t\u00fcm elemanlar\u0131n \"(0, 1)\" g\u00f6r\u00fclme olas\u0131l\u0131klar\u0131 e\u015fittir ve elimizde tahminimizi kolayla\u015ft\u0131racak bir bilgi yok demektir. Diziyi biliyorsak entropi \"0\" olur. Yani belirsizlik s\u0131f\u0131rd\u0131r. <\/p>\n\n\n\n

Entropiyi \"H(p)\" gibi bir fonksiyon olarak tan\u0131mlarsak( burada \"p\" \u00f6rne\u011fimizde \"0.75 \" olarak kabul etti\u011fimiz g\u00f6r\u00fclme olas\u0131l\u0131\u011f\u0131d\u0131r), a\u015fa\u011f\u0131daki grafik bize g\u00f6r\u00fclme olas\u0131l\u0131\u011f\u0131 ile entropi aras\u0131ndaki ili\u015fkiyi g\u00f6sterecektir.<\/p>\n\n\n

\n
\"Entropi
Entropi ve Olas\u0131l\u0131k<\/figcaption><\/figure>\n<\/div>\n\n\n

1’lerin g\u00f6r\u00fclme olas\u0131l\u0131\u011f\u0131n\u0131n \"(0.75)\" oldu\u011fu bir durumda 1’lerin dizinin yakla\u015f\u0131k \"n(0.75)\"‘ini olu\u015fturdu\u011fu diziler tahminimiz i\u00e7in aday dizilerdir. Di\u011ferleri ise aday olmayan dizilerdir. Her ne kadar aday dizilerimizin say\u0131lar\u0131n\u0131 d\u00fc\u015f\u00fcrsekte (yani tahmin \u015fans\u0131m\u0131z\u0131 art\u0131rsakta) sonu\u00e7 hala aday diziler aras\u0131ndaki tek bir dizidir. \u00d6rne\u011fin \"n = 100\" ve bitlerin g\u00f6r\u00fclme ortalamas\u0131n\u0131n \"n(0.75)\" oldu\u011fu bir \u00f6rnekte aday dizilerimizden birinde dizi elemanlar\u0131n\u0131n \"75\" tanesi \"1\" olarak se\u00e7ilir ve bu bizim i\u00e7in do\u011fru tahminler k\u00fcmesinin bir eleman\u0131d\u0131r. Peki \"75\" tane \"1\" i\u00e7eren ka\u00e7 tane dizi vard\u0131r? \"\binom{n}{np}\" \u0130\u015fte bu bilgi bize aday dizilerimizden birinin entropisini verir ve a\u015fa\u011f\u0131daki Shannon fonksiyonu<\/strong> ile hesaplan\u0131r.<\/p>\n\n\n\n

\"H(p) = p log(1/p) + q log(1/q)\"<\/p>\n\n\n\n

Burada \"q = 1 - p\"(q = 0’\u0131n g\u00f6r\u00fclme ortalamas\u0131) ve logaritma \"2\" taban\u0131ndad\u0131r. \"p = 0.75\" durumunda \"H(0.75)\" yakla\u015f\u0131k olarak \"0.81\" ve \"100H(0.75) = 81\" olur(100 ile \u00e7arpt\u0131k \u00e7\u00fcnk\u00fc her hane i\u00e7in ayn\u0131 i\u015flemi yap\u0131p sonu\u00e7lar\u0131 topluyoruz). Entropi art\u0131k \"100\" de\u011fil \"81\"‘dir ve bilinmezlik yani entropi azalm\u0131\u015ft\u0131r. \"75\" tanesi \"1\" olan 100 elemanl\u0131 dizi say\u0131s\u0131, \"2^{nH(p)}\" = \"2^{100H(0.75)}\" = \"2^{81}\" olarak hesaplan\u0131r. Tahmin k\u00fcmemizdeki bir dizinin entropisi yani bilinmezli\u011fi art\u0131k 100 de\u011fil 81’dir deriz. <\/p>\n\n\n\n

100 elemanl\u0131 bir dizide 1’lerin ortalama g\u00f6r\u00fcn\u00fcm\u00fcn\u00fcn 75 oldu\u011fu dizilerin say\u0131s\u0131 ayn\u0131 zamanda \"\binom{n}{np}\" binom katsay\u0131s\u0131 ile hesaplanabilir. Burada p 1’in g\u00f6r\u00fclme olas\u0131l\u0131\u011f\u0131 ve n dizinin uzunlu\u011fudur. B\u00f6ylece entropinin \"log_2 \binom{n}{np} \cong nH(p) \" oldu\u011funuda buradan \u00e7\u0131karabiliriz.<\/p>\n\n\n\n

\u015eimdiye kadar yapt\u0131\u011f\u0131m\u0131z formal tan\u0131mlar\u0131 daha iyi peki\u015ftirebilmek i\u00e7in, ger\u00e7ek bir d\u00fcnya \u00f6rne\u011fi yapal\u0131m. G\u00f6rsel bilgi i\u00e7ermesi a\u00e7\u0131s\u0131ndan bir g\u00f6r\u00fcnt\u00fcn\u00fcn ve \u015fifrelenmi\u015f halinin bilgi entropilerini beraberce hesaplayal\u0131m. \u00d6rne\u011fimizde her bir pikseli 256 bit ile temsil edilen 256×256 boyutlar\u0131nda gri seviye bir mandril g\u00f6r\u00fcnt\u00fcs\u00fc (telif hakk\u0131 olmayan test ama\u00e7l\u0131 bir resim) kullanaca\u011f\u0131z. \u015eifreleme algoritmas\u0131n\u0131n entropiyi art\u0131r\u0131p art\u0131rmad\u0131\u011f\u0131n\u0131, yani bilgiyi ortadan kald\u0131r\u0131p kald\u0131rmad\u0131\u011f\u0131n\u0131 Shannon’un entropi y\u00f6ntemiyle test edece\u011fiz. Ben 256 bit anahtar kullanan AES ile \u015fifreleme yapt\u0131m. Sizler istedi\u011finiz algoritmay\u0131 kullanabilirsiniz. \u00c7\u00fcnk\u00fc konumuz \u015fifreleme algoritmas\u0131ndan ba\u011f\u0131ms\u0131z. G\u00f6r\u00fcnt\u00fcn\u00fcn d\u00fcz ve \u015fifreli hali a\u015fa\u011f\u0131da g\u00f6sterilmi\u015ftir.<\/p>\n\n\n\n

<\/p>\n\n\n\n

<\/p>\n\n\n

\n
\"D\u00fcz
D\u00fcz mandril resmi (a) ve \u015fifrelenmi\u015f hali (b)<\/figcaption><\/figure>\n<\/div>\n\n\n

Shannon’un belirsizli\u011fi \u00f6l\u00e7en entropi \u00f6l\u00e7\u00fcm y\u00f6nteminin genel form\u00fcl\u00fc a\u015fa\u011f\u0131daki gibidir.<\/p>\n\n\n\n

<\/a>

(1) <\/span>   <\/span>\"\begin{equation*} H(s)=\sum_{i=0}^{N-1}{P(S_i) log_2\frac{1}{P(S_i)}\end{equation*}\"<\/p> <\/p>\n\n\n\n

Burada N toplam sembol say\u0131s\u0131n\u0131 belirtmektedir ve resim \u015fifrelemede piksel de\u011ferlerinin toplam say\u0131s\u0131d\u0131r. Bir pikselin \"S_i\" de\u011ferinde olma olas\u0131l\u0131\u011f\u0131 \"P(S_i)\" ile g\u00f6sterilir. E\u011fer \u015fifrelenmi\u015f resmin entropisi logaritma N\u2019ye yeterince yakla\u015f\u0131rsa, resmin histogram\u0131 yeterince d\u00fczg\u00fcnd\u00fcr denilebilir. Gri bir resim i\u00e7in N, 256 yani \"2^8\"‘dir. \u00c7\u00fcnk\u00fc her biri 0..255 aras\u0131nda de\u011fer alan piksellerden olu\u015fur. Bir an i\u00e7in 0..255 aras\u0131 de\u011ferlerin her birinin toplam pikseller \u00fczerinde ayn\u0131 olas\u0131l\u0131kla bulundu\u011funu varsayal\u0131m. \"{0,1,2,..255}\" de\u011ferlerinin her birini i\u00e7eren piksel say\u0131lar\u0131n\u0131n ayn\u0131 oldu\u011fu durumda entropi Shannon e\u015fitli\u011fine g\u00f6re 8 olur. Bu durum ger\u00e7ek rastgeleli\u011fi g\u00f6sterir. Bu say\u0131 ideal olan say\u0131d\u0131r. Ancak ger\u00e7ekte \u015fifrelenmi\u015f bir g\u00f6r\u00fcnt\u00fc t\u00fcm sembolleri ayn\u0131 olas\u0131l\u0131kta bar\u0131nd\u0131rmaz(Bar\u0131nd\u0131rmas\u0131 pikseller aras\u0131nda fonksiyonel ba\u011f\u0131ml\u0131l\u0131k oldu\u011funu g\u00f6sterir mi ?). G\u00fcvenli bir \u015fifreleme y\u00f6ntemi ile entropi ideal olan 8’e yakla\u015f\u0131r. \u00d6rne\u011fimizde, \u015fifrelenmemi\u015f d\u00fcz resmin entropi de\u011feri yakla\u015f\u0131k olarak 7.11, 256 bitlik anahtar ile \u015fifrelenmi\u015f g\u00f6r\u00fcnt\u00fcn\u00fcn ise yakla\u015f\u0131k olarak 7.998 olarak hesaplan\u0131r (Farkl\u0131 anahtarlarla yakla\u015f\u0131k de\u011ferler elde edilir). Hesaplama ad\u0131mlar\u0131m\u0131z \u015fu \u015fekilde:<\/p>\n\n\n\n