信息熵與二進(jìn)制--信息論系列x

　信息熵與二進(jìn)制-- 信息論系列 為什么信息技術(shù)中要用二進(jìn)制處理數(shù)據(jù)，難道僅僅是由于晶體管易于實(shí)現(xiàn)二進(jìn)制嗎？其實(shí)很多人都知道，在晶體管出現(xiàn)前很長(zhǎng)時(shí)間，電報(bào)就是用的二進(jìn)制，其實(shí)即使那不是真正的二進(jìn)制，因?yàn)殡妶?bào)的二進(jìn)制沒(méi)有定義運(yùn)算，即便如此，人們還是傾向于用兩個(gè)符號(hào)來(lái)對(duì)大量的字符進(jìn)行編碼，這個(gè)意義上說(shuō)，二進(jìn)制只不過(guò)是這種雙符號(hào)的電報(bào)（.和_）定義了運(yùn)算的高級(jí)形式而已，不考慮運(yùn)算只考慮編碼，電報(bào)的雙符號(hào)和現(xiàn)在二進(jìn)制編碼十分相似，這時(shí)就要問(wèn)了，人們?yōu)楹尾挥酶�多的符�?hào)進(jìn)行編碼，而只用兩個(gè)符號(hào)，這就是信息熵的問(wèn)題了。

　用兩個(gè)符號(hào)進(jìn)行編碼使得識(shí)別更加容易，如果把每一個(gè)數(shù)據(jù)位的可能值作為一種狀態(tài)，那么十進(jìn)制數(shù)的每一位就有十種狀態(tài)，而二進(jìn)制數(shù)據(jù)的每一位只有兩種狀態(tài)，初看起來(lái)，十進(jìn)制的數(shù)據(jù)記載的信息量更大，可是正式由于這種很大的信息量導(dǎo)致十進(jìn)制的數(shù)據(jù)更加不易識(shí)別，不易識(shí)別就是說(shuō)需要我們付出更大的努力才能識(shí)別，用熱力學(xué)的術(shù)語(yǔ)說(shuō)就是信息的熵過(guò)大，舉個(gè)例子說(shuō)明為何信息量大的數(shù)據(jù)更加不易識(shí)別，如果是二進(jìn)制的數(shù)，如果有一位丟失了或者寫(xiě)得不清，那么我們有百分之五十的幾率可以猜中，但是如果一個(gè)十進(jìn)制的數(shù)據(jù)位丟失了，那么我們只有百分之十的幾率猜中它，這就是實(shí)質(zhì)。信息熵代表的是一種無(wú)序度，無(wú)序度越大，它承載的信息越多，我們想理解它就需要更多的努力，這該作何理解呢？我們面對(duì)一個(gè)未知的事物時(shí)，我們說(shuō)它是無(wú)序的，混亂的，你對(duì)它完全未知它就是完全混亂完全無(wú)序，你對(duì)它部分未知，那么它就是部分混亂部分無(wú)序，你理解它的過(guò)程就是你得到信息的過(guò)程，就是你將該事物一個(gè)個(gè)無(wú)序的狀態(tài)變成有序的過(guò)程，最終一切都成了有序的，那么你對(duì)該事物就完全理解了，因此你就得到了信息，因此信息量是相對(duì)于你對(duì)該信息的無(wú)知而言的，你對(duì)它越無(wú)知，那么它就越無(wú)序，它對(duì)你來(lái)講信息量越大，引用一句話“熵，是物理名字，在信息論里則叫信息量。從控制論的角度來(lái)看，應(yīng)叫不確定性。當(dāng)我們不知道某事物具體狀態(tài)，卻知道它有幾種可能性時(shí)，顯然，可能性種類(lèi)愈多，不確定性愈大。不確定性愈大的事物，我們最后確定了、知道了，這就是說(shuō)我們從中得到了愈多的信息，也就是信息量大。”其實(shí)這也是和熱力學(xué)有關(guān)系的，因?yàn)樵谀憷斫庑畔⒌臅r(shí)候，你的大腦要耗氧，這時(shí)產(chǎn)生的熱量還是增加了熱力學(xué)的熵，你理解的信息越多也就是信息量越大信息熵越大，那么你的大腦耗氧將越多，產(chǎn)生的熱量將越多，其實(shí)信息熵只是熱力學(xué)熵的一個(gè)抽象投影而已。我們知道，理解二進(jìn)制信息時(shí)我們付出的努力沒(méi)有理解十進(jìn)制時(shí)的多（我們猜對(duì)的幾率大），因此二進(jìn)制就成了信息系統(tǒng)的首選，但是這只是選用二進(jìn)制的原因之一，這里還要說(shuō)明的是，以上僅僅是理解的一種方式，其實(shí)不要忘了，雖然十進(jìn)制數(shù)據(jù)誤碼率高，但是它確實(shí)可以承載更多的信息，比如一個(gè)數(shù)字 9，用十進(jìn)制一個(gè)位就可以，用二進(jìn)制需要 4 個(gè)位，誤碼率乘以四不一定更低，幸運(yùn)的是，信息論的主體不是人，而是機(jī)器，機(jī)器是善于按位運(yùn)算的，而且，信息熵也是理解一位的信息熵，因此二進(jìn)制在這個(gè)意義上是首選。況且二進(jìn)制的數(shù)字更容易被分辨，分辨系統(tǒng)設(shè)計(jì)更加容易，只需要識(shí)別兩種狀態(tài)足矣，沒(méi)有第三種狀態(tài)來(lái)攪局。

　信息量大即信息熵高難道不是好事嗎？其實(shí)對(duì)于結(jié)果來(lái)說(shuō)是好事，畢竟我們的世界現(xiàn)在已經(jīng)嚴(yán)重依賴(lài)于信息，但是對(duì)于我們理解信息來(lái)說(shuō)，我們需要付出的會(huì)更多，但是如果對(duì)于信息熵少的系統(tǒng)，想擁有同樣的信息量的話，必然需要更多次的仲裁才可以，因此總體上二進(jìn)制信息的熵值低并不是它被選中的理由，但是僅憑一次仲裁中，二進(jìn)制信息更容易被識(shí)別，更不易出錯(cuò)，得到正確結(jié)果更容易這些原因，它就應(yīng)該被選中，畢竟誰(shuí)不是一步一步處理信息的呢？雖然處理信息的主體是機(jī)器，它也是一步一步處理信息的，單步的性能更加有意義，它直接關(guān)系到處理器的發(fā)熱，因?yàn)椋�信息的獲得將最終統(tǒng)一到熱力學(xué)的熱熵。

　選用二進(jìn)制的另一個(gè)原因就是，它確實(shí)占用了最少的狀態(tài)，從而節(jié)省了硬件，因?yàn)闄C(jī)器要為每一個(gè)狀態(tài)準(zhǔn)備一個(gè)空間。如果我們將一個(gè) R 進(jìn)制數(shù)據(jù)的一個(gè)位上的所有的可能值設(shè)為一個(gè)狀態(tài)，那么一個(gè) n 位的 R 進(jìn)制數(shù)一共需要 n*R 個(gè)狀態(tài)，我們?cè)O(shè) S=n*R，現(xiàn)在我們就要求 S 的最小值，我們這個(gè)計(jì)算中僅憑這些量根本不夠，這個(gè)方程中，我們有 S 為值，而 n 和 R 為自變量，我們必須限定一個(gè)值，在這個(gè)值上比較誰(shuí)的 S 更小，因?yàn)槲覀儗⒍�進(jìn)制的 1000 和十進(jìn)制的 10 比較是沒(méi)有意義的，因此，我們?cè)僭O(shè)一個(gè)值 M，這個(gè)值是 n 位 R 進(jìn)制數(shù)所能表示的最大值，我們就在這個(gè)值上比較，在這個(gè)最小值求解的過(guò)程中，我們可以認(rèn)為 M 是恒定的，由上述定義可以導(dǎo)出下面的等式：M=R^n（其中^為乘方），那么進(jìn)一步就有 n=logRM，帶入 S=n*R 就有 S=RlogRM，利用對(duì)數(shù)的換底公式有：S=RlnM/lnR，因此我們最終得到了一個(gè)基于自然對(duì)數(shù) e 的方程，前面說(shuō)過(guò)我們可以將 M 了看做常數(shù)，下面我們求 S 的極值，初看起來(lái)它并沒(méi)有單調(diào)特征，那么我們可以通過(guò)導(dǎo)數(shù)來(lái)求極值，(R/lnR)"=lnR-1,從這個(gè)導(dǎo)數(shù)可以看出，當(dāng) Re 時(shí)，S">0，S 單調(diào)遞增，因此當(dāng) R=e時(shí)，S 取得最小值，因此，理論上，e 進(jìn)制數(shù)對(duì)于節(jié)省狀態(tài)是最優(yōu)的，但是理論終究不是實(shí)際，自然狀態(tài)下無(wú)理數(shù)沒(méi)有什么不好，但是在涉及工程學(xué)時(shí)，就更加青睞整數(shù)了，整數(shù)是離散的，適合處理，記住，不管用幾進(jìn)制數(shù)，計(jì)算機(jī)處理都是基于編碼的，前面說(shuō)過(guò)，編碼都是離散的，某種意義上，計(jì)算機(jī)處理就是用離散的編碼來(lái)用自己的方式重現(xiàn)連續(xù)的真實(shí)世界，計(jì)算機(jī)的最強(qiáng)大之處在處理而不是存儲(chǔ)，因此它沒(méi)有必要記住整個(gè)世界，但是它需要迅速的處理這個(gè)世界，離散的方式就是計(jì)算機(jī)的方式。在 e 的兩邊有 2 和 3，我們沒(méi)有必要比較 2 和 3 下哪個(gè) S 更小，這時(shí)結(jié)果已經(jīng)很明了了，剛才是理論推算，它推算出了一個(gè) e，現(xiàn)在該讓工程學(xué)的方式給出一個(gè)具體的整數(shù)了，這時(shí)就要遵循一個(gè)原則，就是以理論為指導(dǎo)，就是最終的結(jié)果不要偏離 e 太遠(yuǎn)就可以，那么只有到了這時(shí)晶體管的意義才凸顯，晶體管的特性最終采用了二進(jìn)制。

相關(guān)熱詞搜索：信息論 系列 信息