《信息論》試題及答案

　期終練習(xí) 一、某地區(qū)得人群中,1０％就是胖子,80％不胖不瘦,１０％就是瘦子。已知胖子得高血壓得概率就是 15％，不胖不瘦者得高血壓得概率就是 10％,瘦子得高血壓得概率就是 5％，則“該地區(qū)得某一位高血壓者就是胖子"這句話包含了多少信息量。

　解：設(shè)事件 A:某人就是胖子;

　 B：某人就是不胖不瘦

　C:某人就是瘦子

　D：某人就是高血壓者 根據(jù)題意,可知：Ｐ（Ａ）=０、1

　 P（B)=0、8

�。校–）=0、1 P(D｜A)=０、15

　P(D｜B)＝0、1

　P(D|Ｃ)=0、05

　 而“該地區(qū)得某一位高血壓者就是胖子" 這一消息表明在 D 事件發(fā)生得條件下,A 事件得發(fā)生,故其概率為 P（A｜D) 根據(jù)貝葉斯定律，可得：

　P（D）=Ｐ（Ａ）＊ P（Ｄ｜A）＋P（B)＊ P（D|B)＋Ｐ（C）* Ｐ（D｜C)=0、1

�。�(Ａ｜D)＝P（ＡD）/P(D)＝Ｐ(D|Ａ）*Ｐ（A)/ P(D)＝0、15＊０、1/0、1＝０、15

　故得知“該地區(qū)得某一位高血壓者就是胖子"這一消息獲得得多少信息量為：

　I（A｜D）

　= - ｌogP(A｜Ｄ）＝log(0、15)≈2、７3 (biｔ)

　二、設(shè)有一個(gè)馬爾可夫信源,它得狀態(tài)集為｛Ｓ １ ，Ｓ ２ ，S ３ ｝,符號集為｛a 1 ,a 2 ,a 3 ｝，以及在某狀態(tài)下發(fā)出符號集得概率就是(i,k=１,2，3），如圖所示

�。�1）求圖中馬爾可夫信源得狀態(tài)極限概率并找出符號得極限概率 （2）計(jì)算信源處在某一狀態(tài)下輸出符號得條件熵 H（X｜S=j）

　(j=s 1 ，s 2 ，s ３ ）

　(3)求出馬爾可夫信源熵 解:（1)該信源達(dá)到平穩(wěn)后，有以下關(guān)系成立:

　 可得

　(２）

�。ǎ常�31( ) ( | ) 2/7*3/2 3/7*1 2/7*0 6/7i iiH Q E H X E??? ? ? ? ? ??(比特/符號）

　三、二元對稱信道得傳遞矩陣為 （1）若 P（0）＝3/4,P（1）=1/４，求Ｈ(X)，H（X｜Ｙ）與 I(X；Ｙ) （２)求該信道得信道容量及其最大信道容量對應(yīng)得最佳輸入分布 解:⑴==０、811（比特/符號）

　=０、7５*0、6+0、２5＊0、4=０、5５ 0、７5＊0、4+0、２5＊0、６=0、45 ０、９９2(比特／符號) 1 2 2( | ) ( ) ( | ) ( ) ( | ) 0.75 (0.6,0.4) 0.25 (0.4,0.6)(0.6log0.6 0.4log0.4)0.971 /H Y X p x H Y x p x H Y x H H ? ? ? ? ? ?? ? ?? （比特 符號）

　0、81１+０、971—0、992=0、79 (比特/符號）

　 ＝0、８11—0、７9=０、0２1（比特/符號)

　 (2）此信道為二元對稱信道，所以信道容量為

　C=１－Ｈ(p)=1—H（０、６）=１-0、97１=０、029（比特/符號)

　當(dāng)輸入等概分布時(shí)達(dá)到信道容量 四、求信道得信道容量,其中. 解:這就是一個(gè)準(zhǔn)對稱信道，可把信道矩陣分為：， ，

　故21log ( 2 , 2 ,0,4 ) loglog2 ( 2 , 2 ,0,4 ) (1 4 )log(1 4 ) 4 log41 ( 2 , 2 ,4 ) (1 4 )log(1 4 ) 4 log4 ( /k kkC r H p p N MH p pH p p? ? ?? ? ? ? ? ? ?? ? ? ? ? ? ??? ? ? ? ?? ? ? ? ? ? ? ?? ? ? ? ? ? ? ??比特 符號）

　當(dāng)輸入等概分布時(shí)達(dá)到信道容量。

　1

　 五、信源 (1）利用霍夫曼碼編成二元變長得惟一可譯碼，并求其 (2）利用費(fèi)諾碼編成二元變長得惟一可譯碼,并求其 (3）利用香農(nóng)碼編成二元變長得惟一可譯碼,并求其 （１）香農(nóng)編碼: 信源符號 概率 P(x i ）

　碼長 l ｉ

　累積概率 P 碼字 x 1

　0、4 2 ０ 0０ x 2

�。�、２ 3 0、4 0１1 x 3

　0、2 3 0、6 10０ ｘ 4

�。�、1 ４ 0、8 11０0 ｘ ５

　0、05 5 ０、9 11100 ｘ ６

　0、０5 5 0、95 11110 =0、4×2＋０、２×3+0、2×3＋０、1×4＋０、0５×5+0、05×5＝２、9（碼元/信源符號）

　η＝H（X)/（

�。靜ｇｒ）=2、222／２、９=０、7662(2)霍夫曼編碼：

　=0、4×２+0、2×2×2+0、1×3+0、０５×4×2=2、3(碼元/信源符號) η＝H(X）/（

　logr）=０、9964 (3）費(fèi)諾編碼:

　=０、4×2+0、2×２×２+0、1×３+0、０５×4×2＝2、３（碼元/信源符號) η=Ｈ（Ｘ)／(

　logr)= 0、9964 六、設(shè)有一離散信道，傳遞矩陣為 設(shè) P(x 1 ）= P(x ２ ）＝1／4，P(x 3 ）=1/2,試分別按最小錯(cuò)誤概率準(zhǔn)則與最大似然譯碼準(zhǔn)則確定譯碼規(guī)則,并相應(yīng)得計(jì)算機(jī)平均錯(cuò)誤概率得大小. 解:（1）按最大似然譯碼準(zhǔn)則

　F（y１)＝x1

　 Ｆ（y２）=x2

　F（y3）=x3

　 P（E)=1／2（１/3+1/6）＋1/4×2×(1/3＋1／6)＝1/2 (2) 聯(lián)合概率矩陣為,則按最小錯(cuò)誤概率準(zhǔn)

　 F（y１)=x３

　F(y2）=x2

　F(y3）=x3

　 P（E）= 1/8+1/24+2／１２ +1／24＋1/１2=11/2４ 八、一個(gè)三元對稱信源 接收符號為 V＝｛0,１，2},其失真矩陣為 （１)求Ｄ max 與 D min 及信源得 R（D）函數(shù)。

�。�2）求出達(dá)到得正向試驗(yàn)信道得傳遞概率 解：(１）

　因?yàn)榫褪侨�元對稱信源，又就是等概分布，所以根據(jù) r 元離散對稱信源可得 R(D）＝log3－Dloｇ2－H（D)=log3－D－H（Ｄ）

　 0＜=D＜=2/３

�。�0

�。�>2／3

　 (2)滿足 R（D）函數(shù)得信道其反向傳遞概率為

　根據(jù)根據(jù)貝葉斯定律,可得該信道得正向傳遞概率為:

　九、設(shè)二元碼為 C=［11１０0,010０1，1０01０,0011１] (1）求此碼得最小距離； （2）采用最小距離譯碼準(zhǔn)則，試問接收序列１0000,０1100 與 0010０應(yīng)譯成什么碼字？ (3）此碼能糾正幾位碼元得錯(cuò)誤？ 解：(1)碼距如左圖

　故 d mi ｎ ＝3 (2)碼距如右圖 故 10000 譯為 1０010,0１1０0 譯為 11１0０,00１００譯為１1100 或 00111

　(3)根據(jù)，知此碼能糾正一位碼元得錯(cuò)誤。

相關(guān)熱詞搜索：信息論 試題 答案