信息熵及其性質(zhì)和應(yīng)用

　青島農(nóng)業(yè)大學(xué)

　本

　科

　生

　課

　程

　論

　文

　論 文 題 目

　 信息熵及其性質(zhì)與應(yīng)用

　學(xué)生專業(yè)班級(jí)

　信息與計(jì)算科學(xué) 09 級(jí) 2 班

　學(xué)生學(xué)號(hào)姓名

　 20093992

　指 導(dǎo) 教 師

　吳

　 慧

　完 成 時(shí) 間

　 2012 年 06 月 25 日

　 2012 年

　06 月

　25 日 課

　程

　論

　文

　任

　務(wù)

　書

　學(xué)生姓名

　 指導(dǎo)教師

　 吳慧

　論文題目

　 信息熵及其性質(zhì)與應(yīng)用

　 論文內(nèi)容(需明確列出研究的問題):研究信息熵的目的就就是為了更深入的了解信息熵,更好的了解信息熵的作用,更好地使用它解決現(xiàn)實(shí)生活中的問題。文中介紹了信息熵的定義與性質(zhì)及其應(yīng)用。使我們對(duì)信息熵有跟深入的了解 。

　 資料、數(shù)據(jù)、技術(shù)水平等方面的要求:論文要符合一般學(xué)術(shù)論文的寫作規(guī)范,具備學(xué)術(shù)性、科學(xué)性與一定的創(chuàng)造性。文字要流暢、語言要準(zhǔn)確、論點(diǎn)要清楚、論據(jù)要準(zhǔn)確、論證要完整、嚴(yán)密,有獨(dú)立的觀點(diǎn)與見解。內(nèi)容要理論聯(lián)系實(shí)際,計(jì)算數(shù)據(jù)要求準(zhǔn)確,涉及到她人的觀點(diǎn)、統(tǒng)計(jì)數(shù)據(jù)或計(jì)算公式等要標(biāo)明出處,結(jié)論要寫的概括簡短。參考文獻(xiàn)的書寫按論文中引用的先后順序連續(xù)編碼。

　 發(fā)出任務(wù)書日期

　 06 月 15 日

　 完成論文日期

　 06 月 25 日

　 教研室意見(簽字)

　院長意見(簽字)

　信息熵及其性質(zhì)與應(yīng)用

　信息與計(jì)算科學(xué)專業(yè)

　 指導(dǎo)教師

　 吳慧 摘要 : : 信息熵就是隨機(jī)變量不確定性的度量,文中從信息熵的定義出發(fā),結(jié)合信息熵的性質(zhì),介紹了目前信息熵在具體問題中的應(yīng)用。信息就是一個(gè)十分通俗而又廣泛的名詞,它就是人類認(rèn)識(shí)世界、改造世界的知識(shí)源泉。人類社會(huì)發(fā)展的速度,在一定程度上取決于人類對(duì)信息利用的水平,所以對(duì)信息的度量就很有必要。香農(nóng)提出信息的一種度量,熵的定義形式,它就是隨機(jī)變量不確定性的度量,文中主要介紹熵的性質(zhì)及其應(yīng)用。

　關(guān)鍵詞; ;信息熵

　 性質(zhì)

　 應(yīng)用

　Information entropy and its properties and Application Student majoring in Information and Computing Science Specialty

　dongqiang Tutor

　 WuHui Abstract : information entropy is a measure of uncertainty of random variable, this paper from the definition of information entropy, combined with the nature of information entropy, information entropy, introduced the specific issues in the application of、Information is a very popular and

　wi dely noun, it is human understanding of the world, transforming the world knowledge source 、 The human society development speed, depend on on certain level the human make use of information level,

　so the measurement information is necessary、Shannon put forward the informa-tion a kind of measurement, the definition of entropy form,

　it is the uncertainty of random variable metric, this paper mainly introduces the property of entropy and its application、 Key words:information entropy

　properties

　application 引言:作為一種通俗的解釋,熵就是一種不規(guī)則性的測量尺度.這一種解釋起源于香農(nóng)在通訊理論的研究中,為確定信息量而提出的一種熵測度.對(duì)于離散概率分布p=(p 1 ,p…,p n ),香農(nóng)熵定義為H(X)=E[I(ix )]= ??ip logip 在p 1 +p 2 +p 3 +…p k =1的條件下,為使H(X)最大,顯然就是p i ＝1/k(i=1,2,…,k),即在等概率分布情況下H(X)達(dá)到最大值,換句話說,熵的值與不規(guī)則度(如果以等概率分布作為不規(guī)則性的極端表現(xiàn))就是一致的.這就是熵作為一個(gè)概率測度的理論基礎(chǔ).物理學(xué)的發(fā)展為熵理論提供了更為現(xiàn)實(shí)的應(yīng)用背景,熱力學(xué)的第二法則既就是所謂熵增大的法則,對(duì)孤立的系統(tǒng),系統(tǒng)的熱力學(xué)狀態(tài)只能假定在熵增大的方向上起變化,Boltzmann原理把熵引入了熱力學(xué)的研究領(lǐng)域,她所提供的著名關(guān)系式S=klogw(ｗ就是系統(tǒng)狀態(tài)的概率)就是后來Planck的量變論及愛因斯坦的光量子理論開展的基礎(chǔ).人們對(duì)熵的認(rèn)識(shí)與應(yīng)用很長一段時(shí)間內(nèi)都局限于理論物理領(lǐng)域,直到本世紀(jì)中葉,一些人開始注意到熵對(duì)系統(tǒng)不確定性度量的一般性,試圖在行為科學(xué)與社會(huì)科學(xué)中更廣泛地引用熵,對(duì)一些復(fù)雜現(xiàn)象加以刻劃。

　信息熵 (entropy ) 的概念

　設(shè)一個(gè)離散型隨機(jī)變量與它的概率分布為 任意隨機(jī)事件的自信息量定義為該事件發(fā)生概率的對(duì)數(shù)的負(fù)值,即I(ix ) ?????? ? ??????????????111 2 11 2 11

　 , 1 0

　 ) (nii in nn np pp p p px x x xx pX??

　=-logip 。自信息量I(ix )就是指某一信源X 發(fā)出某一消息信號(hào)ix 所含有的信息量,發(fā)出的消息不同,它們所含的信息量也就不同,因此自信息量就是一個(gè)隨機(jī)變量,它不能用來作為整個(gè)信源的信息測度。香農(nóng)將平均自信息量定義為信息熵,簡稱為熵。即H(X)=E[I(ix )]= ??ip logip 。

　二、信息熵的性質(zhì)

　1、對(duì)稱性: :

　設(shè)某一概率系統(tǒng)中 n 個(gè)事件的概率分布為np p , ,1? ,當(dāng)對(duì)事件位置的順序進(jìn)行任意置換后,得到新的概率分布為/ /1, ,np p ? ,并有以下關(guān)系成立: H(np p , ,1? )=H (/ /1, ,np p ? )它表示概率系統(tǒng)中事件的順序雖不同,但概率系統(tǒng)的熵值就是不變的,即概率系統(tǒng)的熵與事件的順序無關(guān)。

　2、非負(fù)性: : 因?yàn)槊總�(gè) p<1,所以它們的以不小于 1 的數(shù)為底的對(duì)數(shù)就是不大于零的。

　3、確定性: 設(shè)信息系統(tǒng)中,任一事件產(chǎn)生的概率為 1,則其她事件產(chǎn)生的概率為 0。這就是一 種 確 定 的 系 統(tǒng) , 對(duì) 于 這 樣 的 系 統(tǒng) 有 :H(1,0)=H(1,0,0)=H(1,0,0,0)= … =H (1,0,0,…,0)=0若信源中只要有一個(gè)事件就是必然事件,則其余事件為不可能事件。

　此時(shí),信源中每個(gè)事件對(duì)熵的貢獻(xiàn)都為 0,因而熵總為零。

　4、擴(kuò)展性: 若集合 X 有 n 個(gè)事件,另一集合 Y 中有 n+1 個(gè)事件,但集合 X 與 Y 的差別只就是多了一個(gè)概率近于零的事件,則兩個(gè)集合的熵值就是一樣的。即一個(gè)事件的概率與集合中其它事件相比很小時(shí),它對(duì)于集合的熵值的貢獻(xiàn)就可以忽略不計(jì)。式子表達(dá)如下:

　? ? ? ?n n n np p p H p p p H Lim , , , , . , ,2 1 2 1 10? ? ?? ?????

　 5、可加性與強(qiáng)可加性: (涉及到了兩個(gè)變量！) H(XY)為兩個(gè)隨機(jī)變量的聯(lián)合熵。

　可加性:H(XY)等于 X 的無條件熵,加上已知 X 時(shí)

　Y 的條件概率的熵的平均值,即條件熵

　 對(duì)于 X 與 Y 獨(dú)立的情況有:

　(強(qiáng)可加性)

　6 6、 、遞增性: :(子集再劃分,第 n 個(gè)分為 m 個(gè))

　按照定義證明:

　0 ) , , (2 1?qp p p H ?) | ( ) ( ) ( X Y H X H XY H ? ?? ?? ??qii ji jqjix y px y p x p X Y H1 1) | (1log ) | ( ) ( ) | () ( ) ( ) ( Y H X H XY H ? ?y x xp p x y P x P xy P ? ? ? ) | ( ) ( ) (; 0 1 ; 0 1) , , ( ) , , (log ) ( ) (loglog loglog ) ( log ) ( ) (1 112 1 2 1,.,.,.,.? ? ? ?? ?? ? ?? ? ?? ? ? ?? ??? ? ? ?? ?? ?? ??ijmjij iniiniim i i m i n nniij ijmjinimjj i im nj iij ij im nj ii ij im nj iij i ij im nj ij i j i nmp p p pp p p H p p p p Hp p p y x p pp p p p p pp p p p y x p y x p XY H? ?? ?? ?? ? ? ?? ? ??mjn jniinmn nm nn n n m n m np q ppqpqpqH pp p p p H q q q p p p H1 12 11 2 1 2 1 1 2 1 1, 1 ), , , , () , , , , ( ) , , , , , (?? ? ?m n nmin n i ninnnniiimiiim niniiiii m nH p Hp p q pqpppppqqpppp p H? ?? ? ? ?? ? ?? ?? ? ?? ??? ????? ?1 11111111/1log1log1log1log1log1log ) (?

　例題:計(jì)算

　7、極值性:

　可利用兩個(gè)引理證明;(以后再利用 Jensen 證明。)

　引理 1 :對(duì)于 x > 0 引理 2 : 其中:

　8、上凸性:

　就是 P 的上凸函數(shù) 即對(duì)于

　 與兩個(gè)概率矢量

　,有:

　函數(shù) f 的圖象

　幾何解釋:

　 f(EP)總在 Ef(P) 上邊 9 9、 、1 1

　證明離散平穩(wěn)信源有 ? ? ? ?1 2 2 1 3X X H X X X H ? ,試說明等式成立的條件。

　解: ? ? ? ? ? ?2 1 3 321 2 1 3log x x x P x x x P X X X H???? ?

　 ? ? ? ? ? ?2 1 3 2 1 3 2 1log3 1 2x x x P x x x P x x Px x x? ??? ?

　 ? ? ? ? ? ?2 3 2 1 3 2 1log3 1 2x x P x x x P x x Px x x? ??? ?

　 = ? ?2 3X X H

　根據(jù)信源的平穩(wěn)性,有 ? ?2 3X X H = ? ?1 2X X H ,因此有 ? ? ? ?1 2 2 1 3X X H X X X H ?

　等式成立的條件就是 ? ? ?2 1 3x x x P ? ?2 3x x P

　9 9、 、2 2

　證明離散信源有 ? ? ? ? ? ? ? ? ? ?N NX H X H X H X H X X X H ? ? ? ? ? ?3 2 1 2 1,并說明等式成立 的條件。

　證明 ? ? ? ? ? ? ? ? ? ?1 2 1 2 1 3 2 2 1 2 1 ?? ? ? ?N N NX X X X H X X X H X X H X H X X X H ? ?

　而 ? ?1 2 1 ? N NX X X X H

　 ? ? ? ?1 2 1 2 1log1 2? ? ? ?? ?N NXNX Xx x x x P x x x PN? ? ?

　? ? ? ? ? ?1 2 1 1 2 1 1 2 1log1 1 2? ? ? ? ? ? ??? ?N NXN NXNX Xx x x x P X X X X P x x x PN N? ? ? ?

　)61,61,31,31( H) / ( 918 . 1 )21,21( )32,31()21,21(2132)21,21(32)32,31()41,41,21(32)32,31( )61,61,31,31(symbol bit H HH H HH H? ? ?? ? ? ?? ?qq q qH p p p Hqlog )1,1,1( ) , , (2 1? ? ? ?1 ln11 ? ? ? ? x xxi iqiqq p p p p H log ) , , (12 1 ??? ? ? ??? ?iiiiq p 1 ; 1) ( ) , , (2 1P H p p p Hq? ?, 1 0 ? ? ?2 1 ,PP? ?) P ( H ) 1 ( ) P ( H ) P ) 1 ( P ( H2 1 2 1? ? ? ?θ θ θ θ ? ? ? ? ?

　? ? ? ? ? ?NXN NXNX Xx P X X X X P x x x PN Nlog1 2 1 1 2 11 1 2? ? ? ? ? ??? ? ? ? ?

　= ? ?NX H

　即

　? ? ? ?2 1 2x H x x H ?

　? ? ? ?? ?3 2 1 3x H x x x H ? 代入上述不等式,有 ? ? ? ? ? ? ? ? ? ?N NX H X H X H X H X X X H ? ? ? ? ? ?3 2 1 2 1 等號(hào)成立的條件就是: ? ? ? ?N N Nx p x x x x p ??1 2 1?

　? ? ? ?? ??1 2 2 1 1 ? ? ??N N Nx p x x x x p ? ? ? ?2 1 2x p x x p ?

　9 9 、 3

　 在連續(xù)信源中,根據(jù)差熵、條件差熵與聯(lián)合差熵的定義,證明 (1)h(X | Y) ??h(X ),當(dāng)且僅當(dāng)X 與Y 統(tǒng)計(jì)獨(dú)立時(shí)等號(hào)成立; (2) ? ? ? ? ? ? ? ?N NX h X h X h X X X h ? ? ? ? ?2 1 2 1當(dāng)且僅當(dāng)X 1 X 2 ?NX

　彼此統(tǒng)計(jì) 獨(dú)立時(shí)等式成立。

　證明: (1)

　 ? ? ? ? ? ? ? ? dx y x p y x p dy y p XY h log? ?? ?

　? ? ? ? ? ? dx x p y x p dy y p log? ?? ? ? ? ? ?? ? X hdxdy x p y x p?? ? log , 等號(hào)成立當(dāng)且僅當(dāng)p(x | y) ??p(x),即p(x, y) ??p(x) p(y),因此僅當(dāng)X 與Y 統(tǒng)計(jì) 獨(dú)立時(shí)等號(hào)成立。

　(2)根據(jù)條件概率密度的相關(guān)公式,有 ? ? ? ? ? ? ? ? ? ?1 2 1 2 1 3 2 2 1 2 1 ?? ? ? ?N N NX X X X h X X X h X X h X h X X X h ? ?

　根據(jù)(1)的結(jié)論,條件差熵小于差熵,因此有 ? ? ? ? ? ? ? ? ? ?N NX h X h X h X h X X X h ? ? ? ? ? ?3 2 1 2 1 等號(hào)成立當(dāng)且僅當(dāng) ? ? ? ?2 1 2x p x x p ?

　? ? ? ?? ?3 2 1 3x p x x x p ? ? ? ? ?N N Nx p x x x x p ??1 2 1?

　即 ? ? ? ? ? ?2 1 2 1x p x p x x p ?

　? ? ? ? ? ? ? ?? ?3 2 1 3 2 1x p x p x p x x x p ? ? ? ? ? ? ? ? ?N Nx p x p x p x x x p ? ?2 1 2 1?

　9 9、 、4 4

　 N 維連續(xù)型隨機(jī)序列NX X X ?2 1,有概率密度以及 ) (2 1 NX X X p ? 以及 ? ? ? ?2i i im X E ? ? ? 。

　證明:當(dāng)隨機(jī)序列的分量各自達(dá)到正態(tài)分布并彼此統(tǒng)計(jì)獨(dú)立時(shí)熵最大。最大熵為 ? ?NNeN 12 22212 log2? ? ? ? ?

　證明: ? ? ? ? ? ? ? ? ? ?N NX h X h X h X h X X X h ? ? ? ? ? ?3 2 1 2 1 等號(hào)成立當(dāng)且僅當(dāng)各分量統(tǒng)計(jì)獨(dú)立。

　而對(duì)于任何一個(gè)分量而言,當(dāng) ? ? ? ?2i i im X E ? ? ? 時(shí),高斯分布的差熵最大,為 ? ?22 log21i ie X h ? ? ? 因此原序列差熵的最大值為: ? ? ?NX X X h ?2 1212 log21? ? e + ? ??222 log21? ? e22 log21Ne ? ?

　 = ] ) ( 2 log[212 2221NNeN? ? ? ? ?

　9 9 、 5

　 N 維連續(xù)型隨機(jī)序列NX X X ?2 1,其各分量幅度分別受限為 ? ?i ib a , 。

　證

　明:當(dāng)隨機(jī)序列的分量各自達(dá)到均勻分布并彼此統(tǒng)計(jì)獨(dú)立時(shí)熵最大。最大熵為? ?i iNia b ? ??1log

　證明: ? ? ? ? ? ? ? ? ? ?N NX h X h X h X h X X X h ? ? ? ? ? ?3 2 1 2 1 等號(hào)成立當(dāng)且僅當(dāng)各分量統(tǒng)計(jì)獨(dú)立。

　而對(duì)于任何一個(gè)分量而言,當(dāng)幅度分別受限為[ , ] i i a b 時(shí),均勻分布的差熵最大, 為 ? ? ?iX h ? ?i ia b ? log

　因此原序列差熵的最大值為: ? ?NX X X h ?2 1= ? ? ? ?1 1log a b ? ? ? ? ? ?2 2log a b ? ?N Na b ? log

　= ? ?i iNia b ? ??1log

　三、熵的應(yīng)用

　熵就是信息理論中一個(gè)非常重要的概念,它就是衡量一個(gè)隨機(jī)變量取值的不確定性程度。而就數(shù)據(jù)集合而言,熵可以作為數(shù)據(jù)集合的不規(guī)則程度的量度,所謂的不規(guī)則程度指的就是集合中前后數(shù)據(jù)元素之間時(shí)序依賴關(guān)系的強(qiáng)弱。對(duì)一個(gè)具體的系統(tǒng)來說,如果這個(gè)系統(tǒng)隨機(jī)性很大、非�；靵y、毫無秩序,則此系統(tǒng)的信息熵就一定很大。反之,如果一個(gè)系統(tǒng)就是確定的、具有一定的規(guī)則、服從一定的秩序,則此系統(tǒng)的信息熵就一定小。因此,可以把信息熵引申應(yīng)用到對(duì)事物集合中一些相互對(duì)立性質(zhì)的量度,判斷事物集合中的有序與無序、確定性與隨機(jī)性、組織性與散漫性、規(guī)則性與雜亂性、簡并性與多樣性,并對(duì)其相互對(duì)立的概念進(jìn)行量度。結(jié)合信息熵的性質(zhì),它的應(yīng)用十分廣泛,在各個(gè)學(xué)科中都有它的影子。

　目前文獻(xiàn)中信息熵在具體問題中的應(yīng)用有信息熵在教學(xué)質(zhì)量分析中的應(yīng)用,信息熵在學(xué)生評(píng)教結(jié)果分析中的應(yīng)用探析,信息熵在數(shù)據(jù)集分割中的應(yīng)用,信息熵方法及其在教育信息處理中的應(yīng)用,信息熵在缺陷漏磁信號(hào)量化中的應(yīng)用,信息熵在電子數(shù)據(jù)取證領(lǐng)域中的應(yīng)用,信息熵在圖書分類決策中的應(yīng)用,信息熵在網(wǎng)絡(luò)流量矩陣估算中的應(yīng)用,信息熵在粗糙集信息檢索模型中的應(yīng)用,信息熵在導(dǎo)航傳感器故障診斷中的應(yīng)用研究,信息熵在工程造價(jià)風(fēng)險(xiǎn)分析中的應(yīng)用研究,信息熵缺陷漏磁信號(hào)量化中的應(yīng)用,信息熵在電子數(shù)據(jù)取證領(lǐng)域中的應(yīng)用,信息熵在圖書分類決策中的應(yīng)用,信息熵在網(wǎng)絡(luò)流量矩陣估算中的應(yīng)用,信息熵在粗糙集信息檢索模型中的應(yīng)用,信息熵在導(dǎo)航傳感器故障診斷中的應(yīng)用研究,信息熵在工程造價(jià)風(fēng)險(xiǎn)分析中的應(yīng)用研究,信息熵在設(shè)計(jì)風(fēng)險(xiǎn)管理中的應(yīng)用研究,信息熵在大型水利水電工程網(wǎng)絡(luò)管理系統(tǒng)信息集成中的應(yīng)用,信息熵在體育綜合服務(wù)質(zhì)量模糊評(píng)價(jià)中的應(yīng)用,信息熵在水污染物總量區(qū)域公平分配中的應(yīng)用,信息熵在項(xiàng)目溝通管理中的應(yīng)用,信息熵在競爭情報(bào)計(jì)量分析中的應(yīng)用,信息熵在體繪制視圖選取中的應(yīng)用,信息熵在基因調(diào)控網(wǎng)絡(luò)構(gòu)建中的應(yīng)用,信息熵在入侵檢測中的應(yīng)用,信熵在建設(shè)工程評(píng)標(biāo)中的應(yīng)用,信息熵在農(nóng)業(yè)技術(shù)擴(kuò)散中的應(yīng)用研

　究,信息熵在電子測量誤差分析中的應(yīng)用,信息熵在臨床定量診斷分析中的應(yīng)用,信息熵在建筑工程管理中的應(yīng)用,信息熵在粗糙集理論中的應(yīng)用,信息熵在優(yōu)化問題中的應(yīng)用,信息熵方法在胃癌診斷中的應(yīng)用,信息熵在泥沙研究中的應(yīng)用,信息熵在煤田勘探中的應(yīng)用,信息熵理論在安全系統(tǒng)中的應(yīng)用,信息熵在臨床醫(yī)學(xué)中的應(yīng)用,信息熵在水系統(tǒng)中的應(yīng)用研究,信息熵在現(xiàn)代生物醫(yī)學(xué)中的應(yīng)用,信息熵理論在煤炭企業(yè)經(jīng)濟(jì)效益評(píng)價(jià)中的應(yīng)用等。

　四、結(jié)束語

　信息熵的性質(zhì)與應(yīng)用還遠(yuǎn)遠(yuǎn)不止文中列出的具體應(yīng)用,這需要更多的人去學(xué)習(xí)信息熵的相關(guān)知識(shí),利用信息熵這個(gè)有力的工具去研究或解決自己學(xué)科中的相關(guān)問題,所以我們相信信息熵的應(yīng)用前景十分廣闊。

　參考文獻(xiàn)

　[1]

　曹雪虹,張宗橙、信息論與編碼［M ］、北京:清華大學(xué)出版社,2004、 [2] 沈世鎰,吳忠華、信息論基礎(chǔ)與應(yīng)用［M ］、北京:高等教育出版社,2004、 [3] 周蔭清、信息理論基礎(chǔ)［M ］、北京:北京航空航天大學(xué)出版社,2006、 [4] 張少艷、信息熵在教學(xué)質(zhì)量分析中的應(yīng)用［J］、紅河學(xué)院學(xué)報(bào), 2007 年第 5 卷第 2 期:77- 79、 [5] 傅祖蕓 編著《信息論－基礎(chǔ)理論與應(yīng)用》,電子工業(yè)出版社,2006,第二版、 課

　程

　論

　文

　成

　績

　評(píng)

　定

　表

　學(xué)生姓名 董強(qiáng) 專業(yè)班級(jí) 信息與計(jì)算科學(xué) 2009 級(jí) 02 班 論文題目 信息熵及其性質(zhì)與應(yīng)用 指導(dǎo)教師評(píng)語及意見: 指導(dǎo)教師評(píng)閱成績:

　 指導(dǎo)教師簽字

　年

　 月

　 日 評(píng)閱人評(píng)語及意見: 評(píng)閱人評(píng)閱成績:

　 評(píng)閱人簽字

　 年

　月

　 日 總評(píng)成績(以百分記):

　年

　月

　日

相關(guān)熱詞搜索：性質(zhì) 信息