第 2章信息论初步王有政微波与数字通信国家重点实验室
2009年 7月 19日 2
信息论的研究对象内容涉及到信源编码和信道容量信源 信源编码 信道编码 调制 发射传输媒质接收 解调 信道译码 信源解码 信宿
2009年 7月 19日 3
内容一、信息的度量
1.信息的概念
2.消息的统计特性及描述方法
3.离散信源的信息量
4.离散信源的熵 (平均信息量 ) 与互信息
5.连续信源的信息量二、信道容量和香农公式
1.信道的定义
2.信道的数学模型
3.信道容量 (离散信道和连续信道 )
4.香农公式讨论
2009年 7月 19日 4
1.1 信息的基本概念信息：是消息的内容消息：是信息的形式
Hartley和香农 (C.E.Shannon)从消息的 统计特性 出发，从信息的 不确定性和概率测度 的角度定义了通信中信息量的概念，
并给出了信息度量的方法。
2009年 7月 19日 5
1.2 消息的统计特性描述方法：随机过程
￠ 2ú éú?′?è ê? í3 ì? D?
à? é￠￠ à? é￠ D′ à? é￠ Díú 1y 3ìê ·? 2ê )(~ ixPX
á? D￠ á? D? D′ á? D? Díú 1y 3ìê?ü?è oˉ êy oíê ·? 2? oˉ êy
2009年 7月 19日 6
1.3.1 离散信源的信息量单一符号的信息量
u1u2u3… uN,ui?{xj},j =1,…,k,概率为 P(xj)
Hartley定义单位：
对数以 2为底,单位为比特 (bit)
对数以 e为底,单位为奈特 (nit)
对数以 10为底，单位为哈特莱 (Hartley)
0)(,1)(,0)(
)(lo g
)(
1
lo g)(
iii
i
i
i
xIxPxI
xP
xP
xI
时当
2009年 7月 19日 7
1.3.2 随机序列的信息量
u1u2u3… uN,ui?{xj},j=1,…,k,概率为
P(xj),xj 出现的次数 为 nj
总信息量为：
k
j
jj xPnI
1
)(l o g
2009年 7月 19日 8
1.3.3 多个信源与互信息两个信源 X和 Y,它们所对应的符号分别为 xi和 yi
联合信息量条件信息量
)(l og)( jiji yxPyxI
)|(l og)|( jiji yxPyxI
2009年 7月 19日 9
1.3.4 互信息互信息表示 X与 Y的统计关联程度互信息量信道
X Y ＝ X + N
N
先验概率,P(xi)
后验概率,P(xi/yj)
转移概率,P(yj/xi)
)(
)|(lo g),(
i
ji
ji xP
yxPyxI?
2009年 7月 19日 10
1.4.1离散信源的熵香农熵：平均信息量香农熵的性质香农熵是非负的,即 H(x)? 0
香农熵具有上凸性,即 H(x)是 P(x)的上凸函数 。
离散信源的最大香农熵
)()(l o g)()}({~
1
xHxPxPxIEI
k
j
jji?
NNNH N
i
ma x lo g
1lo g1
1
P
H(x)
2009年 7月 19日 11
1.4.2 多个信源的熵联合熵：
条件熵：
)(l og),()( ji
i j
ji yxPyxPXYH
)/(l og),()/( ji
i j
ji yxPyxPYXH
2009年 7月 19日 12
1.4.3 互信息平均互信息互信息的性质
I (X,Y) ≥ 0
I (X,Y) ＝ I (Y,X)
I (X,Y) ≤ H (X),I (X,Y) ≤ H (Y)
I (X,Y) 是概率 P(x)的上凸函数，是转移概率 Q(y/x)
的下凸函数
)()(
),(l o g),(),(
ji
ji
i j
ji yPxP
yxPyxPYXI
k
kjk
ij
i j
iji xyQxP
xyQxyQxPYXI
)/()(
)/(l o g)/()(),(
2009年 7月 19日 13
1.4.4 熵的图形表示
H(Y/X)H(X/Y)
I(X,Y)
)/()()/()()( YXHYHXYHXHXYH
)/()()/()(),( XYHYHYXHXHYXI
)()/(),()/( YHXYHXHYXH统计独立，
2009年 7月 19日 14
1.4.5 信息论的基本概念香农熵：信息的不确定性的量度互信息：两个信源之间的相互关联性的量度鉴别信息：不同概率分布之间的区别的量度
2009年 7月 19日 15
1.5.1 连续信源的熵方法：离散区间取极限微分熵
dx
dxxpxp
xxpxxpxH
N
Ni
iiii
N
x
1
l og)](l og [)(
}])(l og [)({)( l i m
0
dxxpxpxH )](lo g [)()(
2009年 7月 19日 16
1.5.2 连续信源的最大熵峰值受限,(幅度受限 )
均方受限,(功率受限 )
)2l o g ()(,2 1)( m a x AxHAxp
exHexp
x
πσl o g)(,
π
1)(
2m a x
2 2
2
2009年 7月 19日 17
1.5.3 多个连续信源的熵联合熵：
条件熵：
互信息
d x d yyxpyxpXYH ),(l o g),()(
d x d yyxpyxpYXH )/(l o g),()/(
d x d yypxp yxpyxpYXI )()( ),(l o g),(),(
2009年 7月 19日 18
2.1 信道和信道容量通信中，分为编码信道和调制信道信道特性：采用转移概率分析信道
X Y ＝ X + N
N
2009年 7月 19日 19
2.2 信道容量定义：信道容量为单位时间内信道上所能传输的最大信息量。
互信息：
信息传输速率：
信道容量
)/()(),( YXHXHYXI
),( YXIrR
)}/()(m a x {)},(m a x {m a x YXHXHrYXIrRC
m i nYXH?)/()1(
m axXH?)()2(
2009年 7月 19日 20
2.3 有扰条件下连续信道的容量其中,n为 AWGN
转移概率密度函数：
信道的平均互信息量：
信号带宽,W
信道容量：
nxy
)()()/( npxypxyp
)()(
)/()(),(
NHYH
XYHYHYXI
)}/()(m a x {2)}/()(m a x {2 XYHYHWYXHXHWC
2009年 7月 19日 21
2.4 香农公式平均功率受限条件下香农公式
eNπNHXYH
NSeπYH
eSπXH
2lo g)()/(
)(2lo g)(
2lo g)(
2
2
2
)1(lo g 2 NSWC
2009年 7月 19日 22
2.5 香农公式讨论
S/N (SNR)?,C?
如果 N?0,SNR,C。 无干扰信道的信道容量无穷大 。
W?,C?,但趋于一个极限 。 因为 W?，
N=W*n0?，
若 C 为常数,W与 SNR可以互换 。 (扩频通信 )
0
2
00
2 44.1l o g)1(l o gl i ml i m n
Se
n
S
wn
SwC
ww
2009年 7月 19日 23
2.6 归一化信道容量 ---频谱效率
2009年 7月 19日 24
2.7 信道编码定理信道容量为 C,信源的信息速率为 R,如果 R?C,则存在一种信道编码方法实现无误传输。
2009年 7月 19日 25
3 小结通过分析离散信源的信息量和香农熵，以及连续信源的微分熵引入了一种统计意义上的信息度量方法。
并利用互信息的概念分析了信道的容量。
2009年 7月 19日 2
信息论的研究对象内容涉及到信源编码和信道容量信源 信源编码 信道编码 调制 发射传输媒质接收 解调 信道译码 信源解码 信宿
2009年 7月 19日 3
内容一、信息的度量
1.信息的概念
2.消息的统计特性及描述方法
3.离散信源的信息量
4.离散信源的熵 (平均信息量 ) 与互信息
5.连续信源的信息量二、信道容量和香农公式
1.信道的定义
2.信道的数学模型
3.信道容量 (离散信道和连续信道 )
4.香农公式讨论
2009年 7月 19日 4
1.1 信息的基本概念信息：是消息的内容消息：是信息的形式
Hartley和香农 (C.E.Shannon)从消息的 统计特性 出发，从信息的 不确定性和概率测度 的角度定义了通信中信息量的概念，
并给出了信息度量的方法。
2009年 7月 19日 5
1.2 消息的统计特性描述方法：随机过程
￠ 2ú éú?′?è ê? í3 ì? D?
à? é￠￠ à? é￠ D′ à? é￠ Díú 1y 3ìê ·? 2ê )(~ ixPX
á? D￠ á? D? D′ á? D? Díú 1y 3ìê?ü?è oˉ êy oíê ·? 2? oˉ êy
2009年 7月 19日 6
1.3.1 离散信源的信息量单一符号的信息量
u1u2u3… uN,ui?{xj},j =1,…,k,概率为 P(xj)
Hartley定义单位：
对数以 2为底,单位为比特 (bit)
对数以 e为底,单位为奈特 (nit)
对数以 10为底，单位为哈特莱 (Hartley)
0)(,1)(,0)(
)(lo g
)(
1
lo g)(
iii
i
i
i
xIxPxI
xP
xP
xI
时当
2009年 7月 19日 7
1.3.2 随机序列的信息量
u1u2u3… uN,ui?{xj},j=1,…,k,概率为
P(xj),xj 出现的次数 为 nj
总信息量为：
k
j
jj xPnI
1
)(l o g
2009年 7月 19日 8
1.3.3 多个信源与互信息两个信源 X和 Y,它们所对应的符号分别为 xi和 yi
联合信息量条件信息量
)(l og)( jiji yxPyxI
)|(l og)|( jiji yxPyxI
2009年 7月 19日 9
1.3.4 互信息互信息表示 X与 Y的统计关联程度互信息量信道
X Y ＝ X + N
N
先验概率,P(xi)
后验概率,P(xi/yj)
转移概率,P(yj/xi)
)(
)|(lo g),(
i
ji
ji xP
yxPyxI?
2009年 7月 19日 10
1.4.1离散信源的熵香农熵：平均信息量香农熵的性质香农熵是非负的,即 H(x)? 0
香农熵具有上凸性,即 H(x)是 P(x)的上凸函数 。
离散信源的最大香农熵
)()(l o g)()}({~
1
xHxPxPxIEI
k
j
jji?
NNNH N
i
ma x lo g
1lo g1
1
P
H(x)
2009年 7月 19日 11
1.4.2 多个信源的熵联合熵：
条件熵：
)(l og),()( ji
i j
ji yxPyxPXYH
)/(l og),()/( ji
i j
ji yxPyxPYXH
2009年 7月 19日 12
1.4.3 互信息平均互信息互信息的性质
I (X,Y) ≥ 0
I (X,Y) ＝ I (Y,X)
I (X,Y) ≤ H (X),I (X,Y) ≤ H (Y)
I (X,Y) 是概率 P(x)的上凸函数，是转移概率 Q(y/x)
的下凸函数
)()(
),(l o g),(),(
ji
ji
i j
ji yPxP
yxPyxPYXI
k
kjk
ij
i j
iji xyQxP
xyQxyQxPYXI
)/()(
)/(l o g)/()(),(
2009年 7月 19日 13
1.4.4 熵的图形表示
H(Y/X)H(X/Y)
I(X,Y)
)/()()/()()( YXHYHXYHXHXYH
)/()()/()(),( XYHYHYXHXHYXI
)()/(),()/( YHXYHXHYXH统计独立，
2009年 7月 19日 14
1.4.5 信息论的基本概念香农熵：信息的不确定性的量度互信息：两个信源之间的相互关联性的量度鉴别信息：不同概率分布之间的区别的量度
2009年 7月 19日 15
1.5.1 连续信源的熵方法：离散区间取极限微分熵
dx
dxxpxp
xxpxxpxH
N
Ni
iiii
N
x
1
l og)](l og [)(
}])(l og [)({)( l i m
0
dxxpxpxH )](lo g [)()(
2009年 7月 19日 16
1.5.2 连续信源的最大熵峰值受限,(幅度受限 )
均方受限,(功率受限 )
)2l o g ()(,2 1)( m a x AxHAxp
exHexp
x
πσl o g)(,
π
1)(
2m a x
2 2
2
2009年 7月 19日 17
1.5.3 多个连续信源的熵联合熵：
条件熵：
互信息
d x d yyxpyxpXYH ),(l o g),()(
d x d yyxpyxpYXH )/(l o g),()/(
d x d yypxp yxpyxpYXI )()( ),(l o g),(),(
2009年 7月 19日 18
2.1 信道和信道容量通信中，分为编码信道和调制信道信道特性：采用转移概率分析信道
X Y ＝ X + N
N
2009年 7月 19日 19
2.2 信道容量定义：信道容量为单位时间内信道上所能传输的最大信息量。
互信息：
信息传输速率：
信道容量
)/()(),( YXHXHYXI
),( YXIrR
)}/()(m a x {)},(m a x {m a x YXHXHrYXIrRC
m i nYXH?)/()1(
m axXH?)()2(
2009年 7月 19日 20
2.3 有扰条件下连续信道的容量其中,n为 AWGN
转移概率密度函数：
信道的平均互信息量：
信号带宽,W
信道容量：
nxy
)()()/( npxypxyp
)()(
)/()(),(
NHYH
XYHYHYXI
)}/()(m a x {2)}/()(m a x {2 XYHYHWYXHXHWC
2009年 7月 19日 21
2.4 香农公式平均功率受限条件下香农公式
eNπNHXYH
NSeπYH
eSπXH
2lo g)()/(
)(2lo g)(
2lo g)(
2
2
2
)1(lo g 2 NSWC
2009年 7月 19日 22
2.5 香农公式讨论
S/N (SNR)?,C?
如果 N?0,SNR,C。 无干扰信道的信道容量无穷大 。
W?,C?,但趋于一个极限 。 因为 W?，
N=W*n0?，
若 C 为常数,W与 SNR可以互换 。 (扩频通信 )
0
2
00
2 44.1l o g)1(l o gl i ml i m n
Se
n
S
wn
SwC
ww
2009年 7月 19日 23
2.6 归一化信道容量 ---频谱效率
2009年 7月 19日 24
2.7 信道编码定理信道容量为 C,信源的信息速率为 R,如果 R?C,则存在一种信道编码方法实现无误传输。
2009年 7月 19日 25
3 小结通过分析离散信源的信息量和香农熵，以及连续信源的微分熵引入了一种统计意义上的信息度量方法。
并利用互信息的概念分析了信道的容量。
