习题讲解
2.4 解,x：女孩是大学生
y：女孩身高 1.6m以上
P(x)=0.25 P(y)=0.5 P(y/x)=0.75
第二章习题
22
( ) ( ) ( / ) 0, 2 5 0, 7 5
( / ) 0, 3 7 5
( ) ( ) 0, 5
1
( / ) l o g ( / ) l o g 1, 4 1 5 ( )
0, 3 7 5
1, 4 1 5
p x y p x p y x
p x y
p y p y
I x y p x y b it
b it
?
? ? ? ?
? ? ? ? ?
获得的信息量是
第二章习题
2.6
1
3( ) l o g l o g 0, 3 7 5 1, 3 9 6
8Ia ? ? ? ? ?
2
1( ) lo g 2
4Ia ? ? ?
3
1( ) lo g 2
4Ia ? ? ?
2
1( ) l o g 3
8Ia ? ? ?
(1) ? ?
1 2 3 41 4 ( ) 1 3 ( ) 1 2 ( ) 6 ( ) 8 7, 5 4 4I I a I a I a I a b it? ? ? ? ?消息
(2) 8 7,5 4 4 1,9 4 5
45 ?
第二章习题
1 2 3 4 5 6
2
6
2
1
2 2 2
22
,
( ) 0.2 0.19 0.18 0.17 0.16 0.17
( ) l og 6
( ) ( ) l og ( )
[ 0.2 l og 0.2 0.19 l og 0.19 0.18 l og 0.18
2( 0.17 l og 0.17 ) 0.16 l og 0.16
2.66( /
ii
i
X x x x x x x
PX
HX
H X p x p x
bi t sy mb
?
? ? ? ?
? ??
??
? ? ? ?
?
??
? ? ? ?
??
?
?
设信源 求这信
源的熵，并解释为什么 不满足信源熵的极值性。
解：
2
6
1
)
l og 6 2.58
( ) 0.2 0.19 0.18 0.17 0.16 0.17 1.07 1
i
i
ol
px
?
?
? ? ? ? ? ? ? ? ?
?
?
概率空间不满足归一化
不满足最大离散熵定理
2.9
第二章习题
2.13 (1)每个象素亮度所含的信息量为：
( ) lo g 1 0 3,3 2HX ??
每帧图像所含的信息量为：
56( ) ( ) 5 * 1 0 l o g 1 0 1,6 6 * 1 0NH X NH X? ? ?
每秒钟的信息率为：
71 30 ( ) 4,98 *1 0NR H X??
第二章习题
2.13 (2)每个象素色度所含的信息量为：
( ) lo g 3 0 4,9 1HY ??
亮度和色度彼此独立
( ) ( ) ( ) l og 10 l og 30 8.23
( ) l og 300 2.5
( ) l og 10
H X Y H X H Y
H X Y
HX
? ? ? ? ?
??
第二章习题
2.18 (1)是平稳的
(2)
2( ) 2 ( ) 2 0, 9 7 1, 9 4H X H X? ? ? ?
( ) (0, 4 ) (0, 4 l o g 0, 4 0, 6 l o g 0, 6 ) 0, 9 7H X H? ? ? ? ?
3 1 2 3( / ) ( ) ( ) 0, 9 7H X X X H X H X? ? ?
lim ( ) ( ) 0,9 7NN H X H X?? ??
(3) 2( ) 2 ( ) 4 0,9 7 3,8 8H X H X? ? ? ?
0000,0001,0010,0011,0100,0101,0110,0111
1000,1001,1010,1011,1100,1101,1110,1111
第二章习题
2.22 (1) ( 0 ) ( 0 ) (1 ) ( 2 )
22
(1 ) (1 ) ( 0 ) ( 2 )
22
( 2 ) ( 2 ) (1 ) ( 0 )
22
pp
P p P P P
pp
P p P P P
pp
P p P P P
?
? ? ??
?
?
? ? ??
?
?
? ? ??
?
( ) ( )iiQ E P a?
1(0 ) (1 ) ( 2 )
3P P P? ? ?
解得：
第二章习题
2.22 (2)
3
2
1
( ) ( / )
( 0) ( / 0) ( 1 ) ( / 1 ) ( 2) ( / 2)
1
3 * (,,) ( l og 2 * l og )
3 2 2 2 2
l og l og
2
ii
i
H H Q E H X E
P H X P H X P H X
p p p p
H p p p
p
p p p
?
?
??
? ? ?
? ? ? ?
? ? ?
?
（ 3）,( ) lo g 3 1,5 8 5HX ??
第二章习题
2.22 (4)
l o g l o g ( 1 ) l o g ( 1 ) l o g2pH p p p p p p p p? ? ? ? ? ? ? ? ?
求导数得：
( 1 ) l og ( 1 ) l og
11
l og ( 1 ) l og 1
l n 2 l n 2
2( 1 )
l og
H
p p p p p
p
pp
p
p
?
?
? ? ? ? ? ?
?
? ? ? ? ? ?
?
?
2 ( 1 ) 2 ( 1 ) 2l o g 0 1
3
pp p
pp
??? ? ?
第二章习题
2.22 (4)
2 ( 1 ) 2 ( 1 ) 2l o g 0 1
3
pp p
pp
??? ? ?
l o g l o g
2
1,5 8 5
pH p p p
? ? ? ?
?
l o g l o g 02pH p p p? ? ? ? ?当 p＝ 0：
l o g l o g 12pH p p p? ? ? ? ?当 p＝ 1：
第二章习题
2.24 图应改为：
1s 2
s
3s
1 1:2a
2 1:4a
2 1:2a
3 1:2a
3 1:4a
1:1a
（ 1） 1 1 3
2 1 2
3 1 3
1 2 3
( ) 0,5 ( ) ( )
( ) 0,2 5 ( ) 0,5 ( )
( ) 0,2 5 ( ) 0,5 ( )
( ) ( ) ( ) 1
Q s Q s Q s
Q s Q s Q s
Q s Q s Q s
Q s Q s Q s
???
? ??
?
? ??
?
? ? ? ??
得,1( ) 0.5Qs ? 2( ) 0.2 5Qs ? 3( ) 0.2 5Qs ?
第二章习题
（ 2） 1( / ) ( 0, 5 l o g 0, 5 0, 2 5 l o g 0, 2 5 0, 2 5 l o g 0, 2 5 ) 1, 5H X S s? ? ? ? ? ?
2( / ) ( 0,5 l o g 0,5 0,5 l o g 0,5 ) 1H X S s? ? ? ?
3( / ) 1 lo g 1 0H X S s? ? ? ?
（ 3）
2 1 1 2 3( / ) 0, 5 ( / ) 0, 2 5 ( / ) 0, 2 5 ( / )H H X X H X S s H X S s H X S s? ? ? ? ? ? ? ?
1?
2.25 解法与上题类似。
第三章
3.1
1( ) lo g 0,6 0,7 3 7Ix ? ? ?
2( ) lo g 0,4 1,3 2 2Ix ? ? ?
(1)
1 1 1 1 2 1 2( ) ( ) ( / ) ( ) ( / ) 0, 8p y p x p y x p x p y x? ? ?(2)
1111
1
( / )( / ) l og 0.0 59
()
p y xI x y
py??
2( ) 0.2py ?
12( / ) 0.093I x y ??
21( / ) 0.263I x y ??
22( / ) 0,3 2 2I x y ?
第三章
(3) ( ) (0,4 ) 0,9 7 1H X H??
1
53( ) 0,6 0,4 0,864Py ? ? ? ? ?
( ) (0,8 ) 0,7 2 2H Y H??
(4) ( / ) 0,9 6 3H X Y ?
( / ) 0,7 1 4H Y X ?
(5) ( ; ) 0,0 0 8I X Y ?
第三章
3.3 (1) 1( ) ( ) 0,8 1 14H X H??
1
3 2 1 1 7()
4 3 4 3 1 2Py ? ? ? ? ?
1
2 3 1( / ) l o g l o g 3 0, 9 1 53 2 3H Y x ? ? ?
2
2 3 1( / ) l o g l o g 3 0, 9 1 53 2 3H Y x ? ? ?
1 1 2 2( / ) ( ) ( / ) ( ) ( / ) 0, 9 1 5H Y X P x H Y x P x H Y x? ? ?
7( ) ( ) 0,9 8 1
12H Y H??
( ; ) ( ) ( / ) 0, 0 6 6I X Y H Y H Y X? ? ?
( / ) ( ) ( ; ) 0, 7 4 5H X Y H X I X Y? ? ?
(2) 21 ( ) 0,0 8 5
3CH? ? ?
第三章
3.9 (1) 1 (0,9 8 ) 0,8 5 8 6CH? ? ?
10秒钟能传的最大信息量
1 0 * 1 5 0 0 * 1 2 8 8 0C b it?
不能传输
第三章
3.11 (1)可分为,pp
pp
??
??
??????
????
2
2
?
?
????
??
1 (,,2 ) [ ( 1 2 ) l o g ( 1 2 ) 2 l o g 4 ]C H p p? ? ? ? ? ? ?? ? ? ? ? ? ? ?
(2)可分为,pp
pp
??
??
??????
????
20
02
?
?
????
??
1 (,,2 ) [ ( 1 2 ) l o g ( 1 2 ) 2 l o g 2 ]C H p p? ? ? ? ? ? ?? ? ? ? ? ? ? ?
信道 2的信道容量大于信道 1的信道容量
第三章
3.16 l o g 4 ( ) 2 ( )C H p H p? ? ? ?
第四章
4.1 (1) 3 4 1( ) l o g l o g 4 0,8 1 1
4 3 4HS ? ? ?
2 2 2 2 2 2
1
3 3 1 1[ ( ) ] ( l o g ) [ ( ) ] ( l o g ) l o g ( ) ( 0,8 1 1 ) 0,4 7 1 5
4 4 4 4i i iiD I s p p H S?? ? ? ? ? ??
根据书中 4.21式
2
0
[ ( )] 0.01iD I s
N ? ? 0.05? ?
可得：
0 2
0, 4 7 1 5 18860
0, 0 1 0, 0 5N ???
(2):
( ) 18 86 0 * 0.811 15 29 5|| || 2 2 2NH SNG ? ? ? ?
第四章
4.3 (1) A,B,C,E是唯一可译码
(2) A,C,E即时码
4.17 不能直接相连
( ) ( 0,8 ) 0,7 2 2H S H??
2,6 6 0,7 2 2 1,9 2??
信源每秒发出 1.92的信息量，而信道每秒可以发出 2
的信息量，因此可以通过编码进行传输。
第四章
4.18 (1) 须 3秒钟传输
(2) 2(1)
5P ?
17(2)
100P ?
…………
(3) 信源符号间具有相关性，极限熵还可以更低
第五章
5.1 (1)最小错误概率准则，求联合概率矩阵 1 1 1
4 6 12
1 1 1
24 8 12
1 1 1
12 24 8
P
??
??
??
???
??
??
??
??
11
21
33
()
()
()
F y x
F y x
F y x
??
? ?
?
? ?
?
译码函数为：
1 1 1 1 1 1 1 1
2 4 1 2 8 2 4 1 2 1 2 2 4EP ? ? ? ? ? ? ?
第五章
5.3 （ 1）最小距离为 3
（ 2） lo g 4 2
55R ??
( 1 0 0 0 ) 1 0 0 1 0,( 0 1 1 0 0 ) 1 1 1 0 0,( 0 0 1 0 0 )F F F??? 不确定
（ 4）能纠正一位错误
（ 3）
5.15 (1)最小汉明距离准则
（ 2）
（ 3） 765
EP p p p??
761 ( 7 )EP p p p? ? ?
（ 4） 761 ( 0,99 7 0,99 0,01 ) 0,00 2EP ? ? ? ? ? ?
7 1 6 2 5 2 3 4 37 7 71 ( )EP p C p p C p p C p p? ? ? ? ?
第六章
6.1
2
2
( ) c o s l o g c o sH X A x A x d x
?
???? ?
第六章
6.5
m ax l o g ( )H b a??
m ax m ax2 2 l o g ( )I F H F b a? ? ?
6.13
21( ) lo g 22HX ???
2.4 解,x：女孩是大学生
y：女孩身高 1.6m以上
P(x)=0.25 P(y)=0.5 P(y/x)=0.75
第二章习题
22
( ) ( ) ( / ) 0, 2 5 0, 7 5
( / ) 0, 3 7 5
( ) ( ) 0, 5
1
( / ) l o g ( / ) l o g 1, 4 1 5 ( )
0, 3 7 5
1, 4 1 5
p x y p x p y x
p x y
p y p y
I x y p x y b it
b it
?
? ? ? ?
? ? ? ? ?
获得的信息量是
第二章习题
2.6
1
3( ) l o g l o g 0, 3 7 5 1, 3 9 6
8Ia ? ? ? ? ?
2
1( ) lo g 2
4Ia ? ? ?
3
1( ) lo g 2
4Ia ? ? ?
2
1( ) l o g 3
8Ia ? ? ?
(1) ? ?
1 2 3 41 4 ( ) 1 3 ( ) 1 2 ( ) 6 ( ) 8 7, 5 4 4I I a I a I a I a b it? ? ? ? ?消息
(2) 8 7,5 4 4 1,9 4 5
45 ?
第二章习题
1 2 3 4 5 6
2
6
2
1
2 2 2
22
,
( ) 0.2 0.19 0.18 0.17 0.16 0.17
( ) l og 6
( ) ( ) l og ( )
[ 0.2 l og 0.2 0.19 l og 0.19 0.18 l og 0.18
2( 0.17 l og 0.17 ) 0.16 l og 0.16
2.66( /
ii
i
X x x x x x x
PX
HX
H X p x p x
bi t sy mb
?
? ? ? ?
? ??
??
? ? ? ?
?
??
? ? ? ?
??
?
?
设信源 求这信
源的熵，并解释为什么 不满足信源熵的极值性。
解：
2
6
1
)
l og 6 2.58
( ) 0.2 0.19 0.18 0.17 0.16 0.17 1.07 1
i
i
ol
px
?
?
? ? ? ? ? ? ? ? ?
?
?
概率空间不满足归一化
不满足最大离散熵定理
2.9
第二章习题
2.13 (1)每个象素亮度所含的信息量为：
( ) lo g 1 0 3,3 2HX ??
每帧图像所含的信息量为：
56( ) ( ) 5 * 1 0 l o g 1 0 1,6 6 * 1 0NH X NH X? ? ?
每秒钟的信息率为：
71 30 ( ) 4,98 *1 0NR H X??
第二章习题
2.13 (2)每个象素色度所含的信息量为：
( ) lo g 3 0 4,9 1HY ??
亮度和色度彼此独立
( ) ( ) ( ) l og 10 l og 30 8.23
( ) l og 300 2.5
( ) l og 10
H X Y H X H Y
H X Y
HX
? ? ? ? ?
??
第二章习题
2.18 (1)是平稳的
(2)
2( ) 2 ( ) 2 0, 9 7 1, 9 4H X H X? ? ? ?
( ) (0, 4 ) (0, 4 l o g 0, 4 0, 6 l o g 0, 6 ) 0, 9 7H X H? ? ? ? ?
3 1 2 3( / ) ( ) ( ) 0, 9 7H X X X H X H X? ? ?
lim ( ) ( ) 0,9 7NN H X H X?? ??
(3) 2( ) 2 ( ) 4 0,9 7 3,8 8H X H X? ? ? ?
0000,0001,0010,0011,0100,0101,0110,0111
1000,1001,1010,1011,1100,1101,1110,1111
第二章习题
2.22 (1) ( 0 ) ( 0 ) (1 ) ( 2 )
22
(1 ) (1 ) ( 0 ) ( 2 )
22
( 2 ) ( 2 ) (1 ) ( 0 )
22
pp
P p P P P
pp
P p P P P
pp
P p P P P
?
? ? ??
?
?
? ? ??
?
?
? ? ??
?
( ) ( )iiQ E P a?
1(0 ) (1 ) ( 2 )
3P P P? ? ?
解得：
第二章习题
2.22 (2)
3
2
1
( ) ( / )
( 0) ( / 0) ( 1 ) ( / 1 ) ( 2) ( / 2)
1
3 * (,,) ( l og 2 * l og )
3 2 2 2 2
l og l og
2
ii
i
H H Q E H X E
P H X P H X P H X
p p p p
H p p p
p
p p p
?
?
??
? ? ?
? ? ? ?
? ? ?
?
（ 3）,( ) lo g 3 1,5 8 5HX ??
第二章习题
2.22 (4)
l o g l o g ( 1 ) l o g ( 1 ) l o g2pH p p p p p p p p? ? ? ? ? ? ? ? ?
求导数得：
( 1 ) l og ( 1 ) l og
11
l og ( 1 ) l og 1
l n 2 l n 2
2( 1 )
l og
H
p p p p p
p
pp
p
p
?
?
? ? ? ? ? ?
?
? ? ? ? ? ?
?
?
2 ( 1 ) 2 ( 1 ) 2l o g 0 1
3
pp p
pp
??? ? ?
第二章习题
2.22 (4)
2 ( 1 ) 2 ( 1 ) 2l o g 0 1
3
pp p
pp
??? ? ?
l o g l o g
2
1,5 8 5
pH p p p
? ? ? ?
?
l o g l o g 02pH p p p? ? ? ? ?当 p＝ 0：
l o g l o g 12pH p p p? ? ? ? ?当 p＝ 1：
第二章习题
2.24 图应改为：
1s 2
s
3s
1 1:2a
2 1:4a
2 1:2a
3 1:2a
3 1:4a
1:1a
（ 1） 1 1 3
2 1 2
3 1 3
1 2 3
( ) 0,5 ( ) ( )
( ) 0,2 5 ( ) 0,5 ( )
( ) 0,2 5 ( ) 0,5 ( )
( ) ( ) ( ) 1
Q s Q s Q s
Q s Q s Q s
Q s Q s Q s
Q s Q s Q s
???
? ??
?
? ??
?
? ? ? ??
得,1( ) 0.5Qs ? 2( ) 0.2 5Qs ? 3( ) 0.2 5Qs ?
第二章习题
（ 2） 1( / ) ( 0, 5 l o g 0, 5 0, 2 5 l o g 0, 2 5 0, 2 5 l o g 0, 2 5 ) 1, 5H X S s? ? ? ? ? ?
2( / ) ( 0,5 l o g 0,5 0,5 l o g 0,5 ) 1H X S s? ? ? ?
3( / ) 1 lo g 1 0H X S s? ? ? ?
（ 3）
2 1 1 2 3( / ) 0, 5 ( / ) 0, 2 5 ( / ) 0, 2 5 ( / )H H X X H X S s H X S s H X S s? ? ? ? ? ? ? ?
1?
2.25 解法与上题类似。
第三章
3.1
1( ) lo g 0,6 0,7 3 7Ix ? ? ?
2( ) lo g 0,4 1,3 2 2Ix ? ? ?
(1)
1 1 1 1 2 1 2( ) ( ) ( / ) ( ) ( / ) 0, 8p y p x p y x p x p y x? ? ?(2)
1111
1
( / )( / ) l og 0.0 59
()
p y xI x y
py??
2( ) 0.2py ?
12( / ) 0.093I x y ??
21( / ) 0.263I x y ??
22( / ) 0,3 2 2I x y ?
第三章
(3) ( ) (0,4 ) 0,9 7 1H X H??
1
53( ) 0,6 0,4 0,864Py ? ? ? ? ?
( ) (0,8 ) 0,7 2 2H Y H??
(4) ( / ) 0,9 6 3H X Y ?
( / ) 0,7 1 4H Y X ?
(5) ( ; ) 0,0 0 8I X Y ?
第三章
3.3 (1) 1( ) ( ) 0,8 1 14H X H??
1
3 2 1 1 7()
4 3 4 3 1 2Py ? ? ? ? ?
1
2 3 1( / ) l o g l o g 3 0, 9 1 53 2 3H Y x ? ? ?
2
2 3 1( / ) l o g l o g 3 0, 9 1 53 2 3H Y x ? ? ?
1 1 2 2( / ) ( ) ( / ) ( ) ( / ) 0, 9 1 5H Y X P x H Y x P x H Y x? ? ?
7( ) ( ) 0,9 8 1
12H Y H??
( ; ) ( ) ( / ) 0, 0 6 6I X Y H Y H Y X? ? ?
( / ) ( ) ( ; ) 0, 7 4 5H X Y H X I X Y? ? ?
(2) 21 ( ) 0,0 8 5
3CH? ? ?
第三章
3.9 (1) 1 (0,9 8 ) 0,8 5 8 6CH? ? ?
10秒钟能传的最大信息量
1 0 * 1 5 0 0 * 1 2 8 8 0C b it?
不能传输
第三章
3.11 (1)可分为,pp
pp
??
??
??????
????
2
2
?
?
????
??
1 (,,2 ) [ ( 1 2 ) l o g ( 1 2 ) 2 l o g 4 ]C H p p? ? ? ? ? ? ?? ? ? ? ? ? ? ?
(2)可分为,pp
pp
??
??
??????
????
20
02
?
?
????
??
1 (,,2 ) [ ( 1 2 ) l o g ( 1 2 ) 2 l o g 2 ]C H p p? ? ? ? ? ? ?? ? ? ? ? ? ? ?
信道 2的信道容量大于信道 1的信道容量
第三章
3.16 l o g 4 ( ) 2 ( )C H p H p? ? ? ?
第四章
4.1 (1) 3 4 1( ) l o g l o g 4 0,8 1 1
4 3 4HS ? ? ?
2 2 2 2 2 2
1
3 3 1 1[ ( ) ] ( l o g ) [ ( ) ] ( l o g ) l o g ( ) ( 0,8 1 1 ) 0,4 7 1 5
4 4 4 4i i iiD I s p p H S?? ? ? ? ? ??
根据书中 4.21式
2
0
[ ( )] 0.01iD I s
N ? ? 0.05? ?
可得：
0 2
0, 4 7 1 5 18860
0, 0 1 0, 0 5N ???
(2):
( ) 18 86 0 * 0.811 15 29 5|| || 2 2 2NH SNG ? ? ? ?
第四章
4.3 (1) A,B,C,E是唯一可译码
(2) A,C,E即时码
4.17 不能直接相连
( ) ( 0,8 ) 0,7 2 2H S H??
2,6 6 0,7 2 2 1,9 2??
信源每秒发出 1.92的信息量，而信道每秒可以发出 2
的信息量，因此可以通过编码进行传输。
第四章
4.18 (1) 须 3秒钟传输
(2) 2(1)
5P ?
17(2)
100P ?
…………
(3) 信源符号间具有相关性，极限熵还可以更低
第五章
5.1 (1)最小错误概率准则，求联合概率矩阵 1 1 1
4 6 12
1 1 1
24 8 12
1 1 1
12 24 8
P
??
??
??
???
??
??
??
??
11
21
33
()
()
()
F y x
F y x
F y x
??
? ?
?
? ?
?
译码函数为：
1 1 1 1 1 1 1 1
2 4 1 2 8 2 4 1 2 1 2 2 4EP ? ? ? ? ? ? ?
第五章
5.3 （ 1）最小距离为 3
（ 2） lo g 4 2
55R ??
( 1 0 0 0 ) 1 0 0 1 0,( 0 1 1 0 0 ) 1 1 1 0 0,( 0 0 1 0 0 )F F F??? 不确定
（ 4）能纠正一位错误
（ 3）
5.15 (1)最小汉明距离准则
（ 2）
（ 3） 765
EP p p p??
761 ( 7 )EP p p p? ? ?
（ 4） 761 ( 0,99 7 0,99 0,01 ) 0,00 2EP ? ? ? ? ? ?
7 1 6 2 5 2 3 4 37 7 71 ( )EP p C p p C p p C p p? ? ? ? ?
第六章
6.1
2
2
( ) c o s l o g c o sH X A x A x d x
?
???? ?
第六章
6.5
m ax l o g ( )H b a??
m ax m ax2 2 l o g ( )I F H F b a? ? ?
6.13
21( ) lo g 22HX ???
