第三章 无失真信源编码
注意：这份答案我是拿别人的,仅是参考答案.
答案中会出现R、R′、η、、KL混用的，不过方法还是正确的，希望在看的时候不要被它所迷惑啊!
3-1
3-2
(1) 因为A,B,C,D四个字母,每个字母用两个码,每个码为0.5ms, 所以每个字母用10ms
当信源等概率分布时,信源熵为H(X)=log(4)=2
平均信息传递速率为bit/ms=200bit/s
(2) 信源熵为
H(X)=
=0.198bit/ms=198bit/s
与上题相同
3-5
(1)
H(U)=
(2) 每个信源使用3个二进制符号,出现0的次数为
出现1的次数为
P(0)=
P(1)=
(3)
(4) 相应的香农编码
信源符号xi
符号概率pi
累加概率Pi
-Logp(xi)
码长Ki
码字
x1
1/2
0
1
1
0
x2
1/4
0.5
2
2
10
x3
1/8
0.75
3
3
110
x4
1/16
0.875
4
4
1110
x5
1/32
0.938
5
5
11110
x6
1/64
0.969
6
6
111110
x7
1/128
0.984
7
7
1111110
x8
1/128
0.992
7
7
11111110
相应的费诺码
信源符号xi
符号概率pi
第一次分组
第二次分组
第三次分组
第四次分组
第五次分组
第六次分组
第七次分组
二元码
x1
1/2
0
0
x2
1/4
1
0
10
x3
1/8
1
0
110
x4
1/16
1
0
1110
x5
1/32
1
0
11110
x6
1/64
1
0
111110
x7
1/128
1
0
1111110
x8
1/128
1
11111110
（5）香农码和费诺码相同
平均码长为
编码效率为：
3-7
（1） pi= 累加概率为 Pi=
累加概率分别为
符号
x1
x1
x2
x3
x4
x5
x6
x7
…
概率
1/2
1/4
1/8
1/16
1/32
1/64
1/128
1/256
…
累加概率
0
0.5
0.75
0.875
0.938
0.969
0.984
0.992
…
码长
1
2
3
4
5
6
7
8
二元码
0
10
110
1110
11110
111110
1111110
11111110
…
（2）信源的信息量为
平均码长为：
码字的平均信息传输率为
R＝bit/码
（3）编码效率
R＝100％
3-10
（1）H(X)＝
（2）
信源符号xi
符号概率pi
编码过程
编码
码长
x1
0.37
0.37
0.37
0.38
0.62
1
00
2
x2
0.25
0.25
0.25
0.37
0.38
01
2
x3
0.18
0.18
0.20
0.25
11
2
x4
0.10
0.10
0.18
100
3
x5
0.07
0.10
1010
4
x6
0.03
1011
4
3-11
（1）信源熵
（2）香农编码：
信源符号xi
符号概率pi
累加概率Pi
-Logp(xi)
码长Ki
码字
x1
0.32
0
1.644
2
00
x2
0.22
0.32
2.184
3
010
x3
0.18
0.54
2.474
3
100
x4
0.16
0.72
2.644
3
101
x5
0.08
0.88
3.644
4
1110
x6
0.04
0.96
4.644
5
11110
平均码长：
编码效率为
（3）
费诺编码为
信源符号xi
符号概率pi
1
2
3
4
编码
码长
x1
0.32
0
0
00
2
x2
0.22
1
01
2
x3
0.18
1
0
10
2
x4
0.16
1
0
110
3
x5
0.08
1
0
1110
4
x6
0.04
1
1111
4
平均码长为：
编码效率：
（4）哈夫曼编码
信源符号xi
符号概率pi
编码过程
编码
码长
x1
0.32
0.32
0.38
0.40
0.60
1
01
2
x2
0.22
0.22
0.32
0.38
0.40
10
2
x3
0.18
0.18
0.22
0.32
11
2
x4
0.16
0.16
0.18
000
3
x5
0.08
0.12
0010
4
x6
0.04
0011
4
平均码长为：
编码效率：
3-12
（1） 信源熵
信息传输速率2.552bit/s
(2)
信源符号xi
符号概率pi
编码过程
编码
码长
x1
0.4
0.4
0.4
0.4
0.4
0.4
0.6
1
1
x2
0.18
0.18
0.18
0.19
0.23
0.27
0.4
001
3
x3
0.1
0.1
0.13
0.18
0.19
0.23
011
3
x4
0.1
0.1
0.1
0.13
0.18
0000
4
x5
0.07
0.09
0.1
0.1
0100
4
x6
0.06
0.07
0.09
0101
4
x7
0.05
0.06
00010
5
x8
0.04
00011
5
(3) 香农编码
信源符号xi
符号概率pi
累加概率Pi
-Logp(xi)
码长Ki
码字
x1
0.4
0
1.322
2
00
x2
0.18
0.4
2.474
3
011
x3
0.1
0.58
3.322
4
1001
x4
0.1
0.68
3.322
4
1010
x5
0.07
0.78
3.837
4
1100
x6
0.06
0.85
4.059
5
11011
x7
0.05
0.91
4.322
5
11101
x8
0.04
0.96
4.644
5
11110
平均码长:
(4) 费诺编码：
信源符号xi
符号概率pi
码
码长
x1
0.4
0
0
00
2
x2
0.18
1
01
2
x3
0.1
1
0
0
100
3
x4
0.1
1
101
3
x5
0.07
1
0
0
1100
4
x6
0.06
1
1101
4
x7
0.05
1
0
1110
4
x8
0.04
1
1111
4
3-14
信源符号xi
符号概率pi
编码过程
编码
码长
x1
1/3
1/3
1/3
1/3
1/3
2/3
00
2
x2
1/3
1/3
1/3
1/3
1/3
1/3
01
2
x3
1/9
1/9
1/9
2/9
1/3
100
3
x4
1/9
1/9
1/9
1/9
101
3
x5
1/27
2/27
1/9
111
3
x6
1/27
1/27
1100
4
x7
1/27
1101
4
第四章 限失真信源编码
4-1
失真矩阵为
4-2
信源熵为
Dmax =min{,,,} R(Dmax)=0
Dmin=0R(Dmin)=R(0)=H(X)=log(4)=2
只要满足p(y1)+p(y2)+p(y3)+p(y4)=1在[0,1]区间可以任意取值。
