信息論與編碼章節(jié)練習(xí)(2020.05.18)

黑白氣象傳真圖的消息只有黑色和白色兩種，求：
（1）黑色出現(xiàn)的概率為0.3，白色出現(xiàn)的概率為0.7.給出這個(gè)只有兩個(gè)符號(hào)的信源X的數(shù)學(xué)模型，假設(shè)圖上黑白消息出現(xiàn)前后沒(méi)有關(guān)聯(lián)，求熵X（H）；
（2）假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴(lài)關(guān)系為：P（白/白）=0.9，P（黑/白）=0.1，P（白/黑）=0.2，P（黑/黑）=0.8，求其熵H₂（X）.

連續(xù)隨機(jī)變量X和Y的聯(lián)合概率密度為：，求H（X）， H（Y）， H（XYZ）和I（X；Y）。

若有一信源

每秒鐘發(fā)出2.66個(gè)信源符號(hào)。將此信源的輸出符號(hào)送入某一個(gè)二元信道中進(jìn)行傳輸（假設(shè)信道是無(wú)噪無(wú)損的），而信道每秒鐘只傳遞兩個(gè)二元符號(hào)。試問(wèn)信源不通過(guò)編碼能否直接與信道連接？若通過(guò)適當(dāng)編碼能否中在信道中進(jìn)行無(wú)失真?zhèn)鬏敚咳裟苓B接，試說(shuō)明如何編碼并說(shuō)明原因。