信源及信源熵习题答案
2-3.解：设事件A为女孩是大学生；设事件B为女孩身高1.6米以上，根据题意可知
P(A)＝0.25
P(B)＝0.5
P(B/A)=0.75
“身高1.6米以上的某女孩是大学生”这消息表明是在B事件发生的条件下，A事件发生。所以其概率为 P(A/B).
则
则得知“身高1.6米以上的某女孩是大学生”这消息后能获得的信息量为
2-6. (1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：
此消息的信息量是：
(2) 此消息中平均每符号携带的信息量是：
(3)信息熵
由上可知（2）中所求为此消息中平均每个符号携带的信息量，而（3）中所求为离散无记忆信源的信息熵即为离散无记忆信源平均每个符号携带的信息量。
H(X)与I只是近似相等，不是完全等同。这是因为I是在特定的此消息中求得的，此消息是离散无记忆信源X发出的一特定的消息，在此特定消息中各个符号“0”、“1”、“2”、“3”出现的给率并不完全等于信源X中各个符号出现的概率，所以存在有差异。由此可理解，信源的信息熵是一统计量，是表征信源的总体信息测度的。
2-14
(1)
用xi 表示信源消息，yj表示信宿的消息，则信道传输概率矩阵为
联合概率矩阵为
P(ij)=
则
又
由上可得P(i/j)=
(2) 方法1: =
方法2:
2-16.(1)假设黑白气象传真图上黑白消息出现的前后没有关联，则等效于一个离散无记忆信源，信源概率空间为
信源的信息熵
设最后平稳概率为
由题意可知转移概率矩阵为
P=
得W(白)=07 W（黑）=0.3
H(Y/白)=
H(Y/黑)=
此为一个一阶马尔可夫信源，则熵为
H2=W（黑）*H(Y/黑)+ W(白)*H(Y/白)=0.3*0.722+0.7*0.422＝0.512比特/符号
（3）前后两种信源的剩余度
即
其结果说明：当信源的消息（符号）之间有依赖时，信源输出消息的不确定性减弱。在本题中，当有依赖时前面已是白色消息，后面绝大多数可能是出现白色消息；前面是黑色消息，后面基本可猜测是黑色消息。这是信源的平均不确定性减弱。所以，信源消息之间有依赖时信源熵小于信源消息之间无依赖时信源熵。这表明信源熵正是反映信源的平均不确定性的大小。尔信源剩余度正是反映信源消息依赖关系的强弱，剩余度越大，信源消息（符号）之间依赖关系就越大。
