信息論與編碼第2章習(xí)題解答

1、12.1設(shè)有12枚同值硬幣，其中一枚為假幣。只知道假幣的重量與真幣的重量不同，但不知究竟是重還是輕?，F(xiàn)用比較天平左右兩邊輕重的方法來測量（因無砝碼）。為了在天平上稱出哪一枚是假幣，試問至少必須稱多少次？解：分三組，每組4個，任意取兩組稱。會有兩種情況，平衡，或不平衡。(1)平衡：平衡：明確假幣在其余的4個里面。從這4個里面任意取3個，并從其余8個好的里面也取3個稱。又有兩種情況：平衡或不平衡。a）平衡：稱一下那個剩下的就行了。b）不平衡

2、：我們至少知道那組假幣是輕還是重。從這三個有假幣的組里任意選兩個稱一下，又有兩種情況：平衡與不平衡，不過我們已經(jīng)知道假幣的輕重情況了，自然的，不平衡直接就知道誰是假幣；平衡的話，剩下的呢個自然是假幣，并且我們也知道他是輕還是重。(2)不平衡：不平衡：假定已經(jīng)確定該組里有假幣時候：推論1：在知道該組是輕還是重的時候，只稱一次，能找出假幣的話，那么這組的個數(shù)不超過3。我們知道，只要我們知道了該組（3個）有假幣，并且知道輕重，只要稱一次就可以

3、找出來假幣了。從不平衡的兩組中，比如輕的一組里分為3和1表示為“輕（3）”和“輕（1）”，同樣重的一組也是分成3和1標(biāo)示為“重（3）”和“重（1）”。在從另外4個剩下的，也就是好的一組里取3個表示為“準(zhǔn)（3）”。交叉組合為：輕（3）重（1）？=======？輕（1）準(zhǔn)（3）來稱一下。又會有3種情況：(1)左面輕：這說明假幣一定在第一次稱的時候的輕的一組，因?yàn)椤爸兀?）”也出現(xiàn)在現(xiàn)在輕的一邊，我們已經(jīng)知道，假幣是輕的。那么假幣在輕（3）里

4、面，根據(jù)推論1，再稱一次就可以了。(2)右面輕：這里有兩種可能：“重（1）”是假幣，它是重的，或者“輕（1）”是假幣，它是輕的。這兩種情況，任意取這兩個中的一個和一個真幣稱一下即可。(3)平衡：假幣在“重（3）”里面，而且是重的。根據(jù)推論也只要稱一次即可。2.2同時扔一對骰子，當(dāng)?shù)弥皟慎蛔用娉宵c(diǎn)數(shù)之和為2”或“面朝上點(diǎn)數(shù)之和為8”或“骰子面朝上之和是3和4”時，試問這三種情況分別獲得多少信息量？解：設(shè)“兩骰子面朝上點(diǎn)數(shù)之和為2”為事

5、件A，則在可能出現(xiàn)的36種可能中，只能個骰子都為1，這一種結(jié)果。即：P（A）=136，I（A）=P（A）=36≈5.17比特2log2log設(shè)“面朝上點(diǎn)數(shù)之和為8”為事件B，則有五種可能：2、6；6、2；4、4；3、5；5、3；即：P（B）=536，I（B）=P（B）=365≈2.85比特2log2log設(shè)“骰子面朝上之和是3和4”為事件C，則有兩種可能：3、4；4、3；即：P（C）=236，I（C）=P（C）=362≈4.17比特2l

6、og2log2.3如果你在不知道今天是星期幾的情況下問你的朋友“明天是星期幾？”則答案中含有多少信息量？如果你在已知今天是星期四的情況下提出同樣的問題，則答案中你能獲得多少信息量（假設(shè)已知星期一至星期日的排序）解：（1）P＝17I＝－Log2P＝－Log27（2）已知今天星期四，問明天是星期幾？即：明天是星期五是必然事件，不存在不確定性，I＝0。2.4地區(qū)的女孩中有25％是大學(xué)生，在女大學(xué)生中有75％是身高1.6米以上的，而女孩中身高1

7、.6米以上的占半數(shù)一半。假如我們得知“身高1.6米以上的某女孩是大學(xué)生”的消息，問獲得多少信息量？解：設(shè)A為女大學(xué)生B為1.6米以上的女孩則依題意有:1()4PA?1()2PB?3(|)4PBA?133()()(|)4416PABPAPBA????A3=)(log)(24121jqjjaaPaaP???=－2423log()241231241231=log2423=log23log242.8從大量統(tǒng)計資料知道，男性中紅綠色盲的發(fā)病率為7

8、％，女性發(fā)病率為0.5％，如果你問一位男同志：“你是否是紅綠色盲？”他的回答可能是“是”，可能是“否”，問這二個答案中各含多少信息量？平均每個回答中含有多少信息量？如果你問一位女同志，則答案中含有的平均自信息量是多少？解：（1）若男同志回答“是”：I＝log(17%)＝3.84bit回答“否”：I＝log(193%)＝0.1bit平均信息量為：I＝－7%log7%－93%log93%＝0.36bit（2）若問女同志，平均信息量為：I＝－

9、0.5%log0.5%－99.5%log99.5%＝0.045bit2.9設(shè)信源求這信源的熵，并解釋為什么，不滿足信源熵的123456()0.20.190.180.170.160.17XaaaaaaPx?????????????()log6Hx?極值性。解：信源的熵為：2222111()0.2log50.19log0.18log0.17log0.190.180.17Hx????bit符號22110.16log0.17log2.6570.

10、160.17???是因?yàn)榇诵畔⒌牟粷M足信息熵極值性的條件。()log6Hx?61()1iiPa???2.10設(shè)離散無記憶信源S其符號集Aa1a2...aq知其相應(yīng)的概率分布為（P1P2...Pq）。設(shè)另一離散無記憶信源S’，其符號集為S信源符號集的兩倍，A’=aii=12...2q并且各符號的概率分布滿足：Pi’=(1ε)Pi(i=12...q)Pi’=εPiq(i=q1q2...2q)試寫出信源S’信息熵與信源S的信息熵的關(guān)系。解：S

11、：a1a2……aqP：p1p2……pqH（X）＝－Σqi＝1PiLogPiΣqi＝1Pi＝1S`：a1a2……aqaq＋1……a2qP：p，1p，2……p，qp，q＋1……p，2qH（X）＝－Σ2qi＝1P，iLogP，i＝－〔Σqi＝1P，iLogP，i＋Σ2qi＝q＋1P，iLogP，i〕＝－Σqi＝1（1－ε）Pi〔Log（1－ε）＋LogPi〕＋Σ2qi＝q＋1εPi－q（Logε＋LogPi－q）＝－（1－ε）Σqi＝1PiL

12、og（1－ε）＋（1－ε）Σqi＝1PiLogPi＋εΣ2qi＝q＋1Pi－qLogε＋εΣ2qi＝q＋1Pi－qLogPi－q＝－（1－ε）Σqi＝1PiLogPi＋εΣ2qi＝q＋1Pi－qLogPi－q＋（1－ε）Log（1－ε）Σqi＝1Pi＋εLogεΣ2qi＝q＋1Pi－q＝－（1－ε）Σqi＝1PiLogPi＋εΣqj＝1PjLogPj＋（1－ε）Log（1－ε）Σqi＝1Pi＋εLogεΣqj＝1Pj＝－Σqi＝1PiL

13、ogPi＋〔（1－ε）Log（1－ε）＋εLogε〕Σqi＝1Pi＝H（X）－〔（1－ε）Log（1－ε）＋εLogε〕Σqi＝1Pi＝H（X）－（1－ε）Log（1－ε）－εLogε即：H（X）＝H（X）－（1－ε）Log（1－ε）－εLogε2.13（1）為了使電視圖象獲得良好的清晰度和規(guī)定的適當(dāng)?shù)膶Ρ榷龋枰?105個象素和10個不同的亮度電平，求傳遞此圖象所需的信息率（比特秒）。并設(shè)每秒要傳送30幀圖像，所有象素是獨(dú)立變化，且