香农编码
消息序号Si
消息概率P(Si)
-logP(Si)
代码组长度li
累加概率Pi
二进制代码组
S1
0.20
2.34
3
0
000
S2
0.19
2.41
3
0.2
001
S3
0.18
2.48
3
0.39
011
S4
0.17
2.56
3
0.57
100
S5
0.15
2.74
3
0.74
101
S6
0.10
3.34
4
0.89
1110
S7
0.01
6.66
7
0.99
1111110
费诺码
消息序列Si
信源消息概率P(Si)
第一次分组
第二次分组
第三次分组
第四次分组
二元代码组
码长li
S1
0.20
0
0
00
2
S2
0.19
1
0
010
3
S3
0.18
1
011
3
S4
0.17
1
0
10
2
S5
0.15
1
0
110
3
S6
0.10
1
0
1110
4
S7
0.01
1
1111
4
例:对进行最优编码。
解:一种Huffman结果:
码长 码字 消息 概率
2 00 S1 0.4
2 10 S2 0.2
2 11 S3 0.2
3 010 S4 0.1
3 011 S5 0.1
另一种Huffman结果:
码长 码字 消息 概率
2 1 S1 0.4
2 01 S2 0.2
2 000 S3 0.2
3 0010 S4 0.1
3 0011 S5 0.1