黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X={黑，白}，設(shè)黑色出現(xiàn)的概率P（黑）=0.3，白色出現(xiàn)的概率P（白）=0.7。
（1）設(shè)圖上黑白消息出現(xiàn)前后沒有聯(lián)系，求熵H（X）；
（2）假設(shè)消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為P（白/白）=0.9，P（黑/白）=0.1，P（白/黑）=0.2，P（黑/黑）=0.8，求此一階馬爾可夫信源的熵H₂；
（3）分別求上述兩種信源的剩余度，并比較H（X）和H₂的大小，并說明其物理意義。

設(shè)有一個馬爾可夫信源，它的狀態(tài)集為{s₁，s₂，s₃}，符號集為{a₁，a₂，a₃}，及在某狀態(tài)下發(fā)符號的概率為P（a_k/s_i）（i，k=1，2，3），如圖所示。

（1）求出圖中馬爾可夫信源的狀態(tài)極限概率并找出符號的極限概率。
（2）計算信源處在某一狀態(tài)下輸出符號的條件熵H(X/S=j)(j=s₁,s₂,s₃)。
（3）求出馬爾可夫信源熵H。

有一個一階平穩(wěn)馬爾可夫鏈X₁，X₂，……X_r……，各X_r取值于集合A={a₁，a₂，a₃}。已知起始概率p（X_r）為p₁=1/2，p₂=p₃=1/4，轉(zhuǎn)移概率如下。

（1）求（X₁，X2，X3）的聯(lián)合熵和平均符號熵。
（2）求這個鏈的極限平均符號熵。
（3）求H₀，H₁，H₂和它們所對應(yīng)的冗余度。

若有二個串接的離散信道，它們的信道矩陣都是

設(shè)第一個信道的輸入符號Xє{a₁,a₂,a₃,a₄}是等概率分布，輸出符號用Z表示。第二個信道輸出用Y表示。求I(X;Z)和I(X;Y)，并加以比較。

設(shè)兩連續(xù)隨機(jī)變量X和Y，它們的聯(lián)合概率密度是均值為零，協(xié)方差矩陣為C的正態(tài)分布，，在下列幾種情況下，計算I(X;Y)：
（1）ρ＝1；
（2）ρ＝0；
（3）ρ＝－1。