第二章 信源及信源熵
2-1
(4)
2-2
2-3
2-4
2-5 (1,2) (2,1) 共两种
(1,6) (6,1) (2,5) (5,2) (3,4) (4,3) 共六种
2-6 0—14个 1---13个 2----12个 3---6个
P=
I=
2-7
2-8 “－” 用三个脉冲 “●”用一个脉冲
(1) I(●)= I(－)＝
(2) H=
2.9
(2) P(黑/黑)= P(白/黑)=
H(Y/黑)=
(3) P(黑/白)= P(白/白)=
H(Y/白)=
(4) P(黑)= P(白)=
H(Y)=
2-10 (1) H(色)=
(2) P(色数)= H(色数)=
(3) H(数/色)= H(色数)- H(色)=
2-11
(1)
H(XY)=
(2) P= 得到 H(Y)=
(3) H(X/Y)=H(XY)-H(Y)=
2-12 (1)
2-13
P(i)= P(ij)=
H(IJ)=
2-14
(1)
P(ij)= P(i/j)=
(2) 方法1: =
方法2:
2-15
P(j/i)=
2-16
(1)
(2) 设最后平稳概率为W1,W2
得W1=07 W2=0.3
H(Y/黑)=
H(Y/白)=
H(Y/X)=W1 H(Y/黑)+ W2 H(Y/白)=
2-17
2-24
(1) H(X)=
(2) =
(3)
2-25
解方程组
即
解得
W1=0.4 W2=0.6
2-26
P(j/i)= 解方程组 求得W=
2-27
求平稳概率
符号条件概率 状态转移概率
解方程组
得到 W=
2-28
(1) 求平稳概率 P(j/i)=
解方程组
得到
(2)
信源熵为:
2-29
P(j/i)= 解方程组 得到W1= , W2= , W3=
2-30
P(i/j)= 解方程组 得W1=W2=W3=
信源熵为
2-31
P(X1)= P(j/i)= P(X1X2)=
（1）
a.
b. 求H(X2/X1)有两种方法：
方法1：
方法2：H(X2/X1)=∑P(x1x2)log(x2/x1)
=
c. 求H(X3/X2)
P(X2)= 则
方法1：
P(X3/X2)= ) + + =
方法2：P(X3/X2)=
d. 最后
＝
（2）首先求解稳定情况下的概率
解方程组
得到
W1 ）＋W2 ＋W3
=
(3) 不做
2-32
(1)
P(j/i)=
求解方程组
得p(0)=p(1)=p(2)=
(2)
(3) H(X)=log(3)=1.58
(4) =
P=
当p=时达到最大值1.58
当 时
当 时
2-33
(1)
解方程组:
得p(0)=p(1)=p(2)=
(2)
(3)
当p=0或p=1时 信源熵为0
