若有三個(gè)離散隨機(jī)變量，有如下關(guān)系：X+Y=Z，其中X和Y相互統(tǒng)計(jì)獨(dú)立，試證明：
（1）H（X）≤H（Z），當(dāng)且僅當(dāng)Y是常量時(shí)等式成立；
（2）H（Y）≤H（Z），當(dāng)且僅當(dāng)X為常量時(shí)等式成立；
（3）H（Z）≤H（XY）≤H（X）+H（Y），當(dāng)且僅當(dāng)X，Y中任意一個(gè)為常量時(shí)等式成立；
（4）I（X；Z）=H（Z）−H（Y）；
（5）I（XY；Z）=H（Z）；
（6）I（X；YZ）=H（X）；
（7）I（Y；Z|X）=H（Y）；
（8）I（X；Y|Z）=H（X|Z）=H（Y|Z）。

若X、Y和Z是三個(gè)隨機(jī)變量，試證明：
（1）I（X；YZ）=I（X；Y）+I（X；Z|Y）=I（X；Z）+I（X；Y|Z）
（2）I（X；Y|Z）=I（Y；X|Z）=H（X|Z）−H（X|YZ）
（3）I（X；Y|Z）≥0當(dāng)且僅當(dāng)（X，Z，Y）是馬氏鏈時(shí)等式成立。

設(shè)二元對(duì)稱信道的傳遞矩陣為

（1）若P（0）=3/4，P（1）=1/4，求H（X），H（X|Y），H（Y|X）和I（X；Y）；
（2）求該信道的信道容量及其達(dá)到信道容量時(shí)的輸入概率分布。

設(shè)8個(gè)等概率分布的消息通過(guò)傳遞概率為p的BSC進(jìn)行傳送，8個(gè)消息相應(yīng)編成下述碼字：

試問(wèn)：
（1）接收到第一個(gè)數(shù)字0與M1之間的互信息；
（2）接收到第二個(gè)數(shù)字也是0時(shí)，得到多少關(guān)于M1的附加互信息；
（3）接收到第三個(gè)數(shù)字仍為0時(shí)，又增加了多少關(guān)于M1的互信息；
（4）接收到第四個(gè)數(shù)字還是0時(shí)，再增加了多少關(guān)于M1的互信息。