对随机波形信源 随机序列连续信源 离散型信源
连续信源的差熵,在离散信源熵的公式中,用? 代替?
连续信源差熵与离散信源熵的区别：不具有非负性和变换 (一一映射 ) 不变性
均匀分布连续信源的熵,h(X) = log(b-a)
/ h(X) =?ilog(bi-ai) =?i h(Xi)
高斯分布连续信源的熵,h(X) = log?(2?e?2)
/ h(X) = log?[(2?e)N |C|]
量化 (数值离散 )
复习抽样 (时间离散 )
分割
输出幅度 (峰值功率 )受限，则其输出信号的概率密度是均匀分布时，信源具有最大熵
平均功率受限，则其输出信号幅度的概率密度分布是高斯分布时，信源具有最大的熵
熵功率：熵为 h的 高斯信源的平均功率
剩余度：熵为 h的其他与熵功率之差
零均值非高斯连续型随机变量 X,Z，令 Y=X+Z，有复习：最大熵
he
eP
2
2
1
PP?
ZXY PPP )()()( ZhXhZXh
复习：连续信源变换
变换前后联合概率密度函数间的关系：
py(y1y2…y N) = px(x1x2…x N)|J(X/Y)|
变换后相对熵的变化（ 不具备变换不变性 ）：
h(Y)=h(X)－ E[log|J(X/Y)|]
复习,连续信道和波形信道
波形信道：输入和输出都是 随机过程
1）高斯信道：信道噪声 n(t)统计规律服从高斯分布。
2）白噪声信道：信道噪声的功率谱密度是常数 Pn(?)=N0/2；
相关函数 Rn(?)=?(?)N0/2
1＋ 2）高斯白噪声信道；其他：有色噪声信道
多维连续信道：连续无记忆 p(y|x)=?i p(yi|xi)/连续有记忆
基本连续信道：输入和输出都是单个连续型随机变量的信道
根据噪声的统计特性和作用，多维连续信道和单符号连续信道同样有加性信道、乘性信道和高斯信道等之分。
加性连续信道 p(y|x) ＝ p(n)? h(Y|X)＝ h(n)
加性连续信道
pxy(xy)＝ pxn(x,n=y-x)|J(x,n/x,y)|=pxn(xn)=px (x)pn(n)
py|x(y|x) = pxy(xy)/px(x) = pxn(xn)/px(x) = pn(n)
条件熵 h(Y|X)＝－p(xy)log p(y|x)dxdy
= －? p(x)dx? p(n)log p(n)dn = h(n)
结论 1、传递概率是由噪声引起的；
结论 2、条件熵＝噪声熵说明：后面主要研究高斯白噪声和加性信道
6,7 连续信道和波形信道的信息传输率
6.7.1 单符号连续信道的平均互信息
单符号连续信道的输入信源 X为：
输出信源 Y为：
)()( xp
R
xp
X
1)(
R
dxxp
)()( yp
R
yp
Y 1)(
R
dyyp
I(X;Y) = H(Xn) - H(Xn|Yn)
说明,1）保留了离散信道的平均互信息的所有含义和性质； 2）只不过用连续信源的差熵替代了离散信源的熵。
单符号连续信道的信息传输率：
R=I(X;Y) (比特 /自由度 )
]l o glim)|(l o g)|()([
l o glim)(l o g)(
0
0
d x d yyxpxypxp
dxxpxp
R
R
)|()()( )|(l o g)( YXhXhd x d yxp yxpxyp
R
)|()()( )|(l o g)( XYhYhd x d yyp xypxyp
R
)()()()()( )(l o g)( XYhYhXhd x d yypxp xypxyp
R
6.7.2 多维连续信道的平均互信息
多维连续信道的数学模型为 [X,p(y/x),Y]，
平均互信息：
I(X;Y) = h(X) - h(X|Y) = h(Y) - h(Y|X)
= h(X) + h(Y) - h(XY)
多维连续信道的信息传输率
R=I(X;Y) (比特 /N个自由度 )
平均每个自由度的信息传输率
R=I(X;Y)/N (比特 /自由度 )
6.7.3 波形信道的信息传输率
波形信道的平均互信息为：
I(x(t);y(t)) = limNI(X;Y)
= h(x(t)) - h(x(t)|y(t))
= h(y(t)) - h(y(t)|x(t))
= h(x(t)) + h(y(t)) - h(x(t)|y(t))
对于波形信道，一般研究其单位时间内的信息传输率 Rt
Rt = limTI(X;Y)/T （比特 /秒）
6.7.4 连续信道平均互信息的特性
两连续型随机变量之间的平均互信息的表达式与两离散随机变量之间的平均互信息的表达式不但相类似，而且具有相同的性质。
两连续型随机变量之间的平均互信息有下述特性,
1．非负性,I(X;Y)?0
2．对称性 (交互性 ),I(X;Y) = I(Y;X)
3．凸状性,I(X;Y)是 p(x)的上凸函数，又是 p(y|x)的下凹函数
4．信息不增性,x?y?z?I(X;Z)? I(X;Y)
5．坐标变换平均互信息的不变性,I(S;Z) = I(X;Y)
信源,S 变换,X 传输,Y 信宿,Z
连续信道平均互信息的特性
I(X,Y)与 I(Xi,Yi)的关系,
若平稳连续 信源 是无记忆的：
I(X,Y)i I(Xi,Yi)
若多维连续 信道 是无记忆的：
I(X,Y)i I(Xi,Yi)
若平稳连续 信源 是无记忆的，多维连续 信道 也是无记忆的：
I(X,Y) =?i I(Xi,Yi)
6,8 连续信道和波形信道的信道容量
噪声形式不同，信道带宽以及对信号的各种限制不同,?信道容量不同。
一般多维连续信道的信道容量为：
C=maxp(x)I(X;Y) = maxp(x)[h(Y)-h(Y|X)]
若信道为加性信道，有：
C= maxp(x) [h(Y)-h(n)]
一股波形信道的信道容量为：
Ct=maxp(x) [limTI(X;Y)/T]
= maxp(x) {limT[h(Y)-h(Y|X)]/T} (比特 /秒 )
若信道为加性信道，有：
C= maxp(x) {limT[h(Y)-h(n)]/T}
6.8.1 单符号高斯加性信道
设信道迭加的噪声 n是均值为零，方差为?2的一维高斯噪声，则噪声信源的熵为：
h(n) = log?(2?e?2)
得高斯加性信道的信道容量为：
C= maxp(x) [h(Y) - log?(2?e?2)]
当信道输出信号 Y的平均功率限制在 Po以下时，若 Y
是均值为零的高斯变量，其熵 h(Y)为最大。因此，
得平均功率受限高斯加性信道的信道容量 (每个自由度 )为：
单符号高斯加性信道的信道容量
C只取决于信道的功率信噪比。
2
020 l o g
2
12l o g2l o g
PeePC
)1lo g (21)1lo g (21 2
n
ss
P
PP
Ps是输入信号 X
的平均功率，
Pn=?2 是高斯噪声的平均功率只有当信道的输入信号是均值为零，平均功率为 Ps的高斯分布变量时，信息传输率才能达到这个最大值
6.8.2 单符号非高斯加性信道噪声功率 >高斯信道?信息传输率小于高斯信道
6.8.4 多维无记忆高斯加性连续信道无记忆?
)lo g (21)1lo g (21
n
ns
n
s
P
PPC
P
P
N
i
ii xypxyp
1
)|()|(
)1(l o g21);();(
11 i
i
n
sN
i
N
i
ii P
PYXIYXI
)1(lo g21
1 i
i
n
sN
i P
PC
香农公式? 高斯白噪声加性信道单位时间的信道容量：
6.8.5 高斯白噪声加性波形信道
高斯白噪声加性波形信道是经常假设的一种波形信道。
设信道带宽为 W，输入为 {x(t)}、输出为 {y(t)},信道噪声
{n(t)}是均值为零、功率谱密度为 N0/2的加性高斯白噪声。
当抽样频率为 2W时，每个连续信源的平均信号功率为：
PsT/2WT＝ Ps/2W
)1l o g ()1l o g (2)1(l o g21
001 WN
PWT
WN
PN
P
PC ss
n
sN
i i
i
)1lo g (lim
0 WN
PW
T
CC s
Tt
当信道输入信号是平均功率受限的高斯信号时，信息传输率才达到此信道容量。
噪声功率为,Pn ＝ N0WT/2WT＝ N0/2
信道容量为：
PsT是在 T时间内输入信号 X的总功率,2WT是 T
时间内的样本数
00
0
0
4 4 2 7.1)1l o g (limlim NPWN PPWNNPC ss
s
s
WtW
W Ct?。当 W大到一定程度后,Ct趋于一个常数：
[例 6,4] 在许多电话信道中允许多路复用。一般电话信号的带宽为 3300Hz。若信噪功率比为 20dB(即 Ps/(NoW)=100)
，代入上式计算得电话信通的信道容量为 22000比特／秒。
而实际信通达到的最大信道传输率约为 19200比特／秒。因为在实际电话通道中，还需考虑串音、干扰、回声等等的因素，所以比理论计算的值要小。
6,9 连续信道编码定理
香农第二定理对连续信道也同样成立。只是和研究信道容量一样，还必须对输入信源加以某些限制条件，才能建立编码定理。由信道编码定理得知，连续信道的信道容量 C同样是连续信道中可靠通信的最大信息传输率。
定理 6.1 对于限带高斯白噪声加性信道，噪声功率为 Pn，
带宽为 W，信号平均功率受限为 Ps，则,
(1)当 R?C对,总可以找到一种信道编码在信道中以信息传输率 R传输信息，而使错误概率任意小。
(2)当 R＞ C时，找不到一种信道编码，在信道中以 R传输信息而使错误概率任意小。
由连续信道编码定理可知，香农公式对实际通信系统有着十分重要的指导意义。香农公式给出了达到无错误 (无失真 )
通信传输速率的理论极限值，称为 香农极限 。
)1lo g (lim
0 WN
PW
T
CC s
Tt
香农极限,表明
1,若传输时间 T固定，则扩展信道的带宽 W就可以降低信噪比的要求；反之，带宽变窄，就要增加信噪功率比。也就是说，可以通过带宽和信噪比的互换而保持信息传编率不变。
2,如果信噪功率比固定不变，则增加信道的带 宽 W就可以缩短传送时间了，换取传输时间的节省；或者花较长的传输时间来换取频带的节省。也就是实现频带和通信时间的互换。
3,如果保持频带不变，我们可以采用增加时间 T来改善信噪比。这一原理已被应用于弱信号接收技术中，即所谓积累法。这种方法是将重复多次收到的信号叠更加起来。由于有用信号直接相加，而干扰则是按功率相加，因而经积累相加后，信噪比得到改善，但所需接收时间相应增长。
小 结一、连续信源的差熵二、多维连续平稳信源的差熵三、波形信源的差熵四、均匀分布连续信源的熵 (取值区间 [a,b])
五、均匀分布 N维连续信源的熵 (取值区间 [a1,b1],…,[a N,bN])
六、高斯信源的熵（ X~N（ m,? 2 ）
七,N维高斯信源的熵（ X~N（ mi,?2 ）
八、多维连续平稳信源的最大差熵（协方差矩阵受限）
九、熵功率不等式十、差熵因坐标变换的变化十一、加性信道单符号连续信道平均互信息多维连续信源的平均互信息波形信道信息传输率连续信道平均互信息的特性十一、信道容量单符号高 斯加性信道单符号非高斯加性信道多维无记忆高斯加性连续信道多维有记忆高斯加性连续信道信息传输定理
连续信源的差熵,在离散信源熵的公式中,用? 代替?
连续信源差熵与离散信源熵的区别：不具有非负性和变换 (一一映射 ) 不变性
均匀分布连续信源的熵,h(X) = log(b-a)
/ h(X) =?ilog(bi-ai) =?i h(Xi)
高斯分布连续信源的熵,h(X) = log?(2?e?2)
/ h(X) = log?[(2?e)N |C|]
量化 (数值离散 )
复习抽样 (时间离散 )
分割
输出幅度 (峰值功率 )受限，则其输出信号的概率密度是均匀分布时，信源具有最大熵
平均功率受限，则其输出信号幅度的概率密度分布是高斯分布时，信源具有最大的熵
熵功率：熵为 h的 高斯信源的平均功率
剩余度：熵为 h的其他与熵功率之差
零均值非高斯连续型随机变量 X,Z，令 Y=X+Z，有复习：最大熵
he
eP
2
2
1
PP?
ZXY PPP )()()( ZhXhZXh
复习：连续信源变换
变换前后联合概率密度函数间的关系：
py(y1y2…y N) = px(x1x2…x N)|J(X/Y)|
变换后相对熵的变化（ 不具备变换不变性 ）：
h(Y)=h(X)－ E[log|J(X/Y)|]
复习,连续信道和波形信道
波形信道：输入和输出都是 随机过程
1）高斯信道：信道噪声 n(t)统计规律服从高斯分布。
2）白噪声信道：信道噪声的功率谱密度是常数 Pn(?)=N0/2；
相关函数 Rn(?)=?(?)N0/2
1＋ 2）高斯白噪声信道；其他：有色噪声信道
多维连续信道：连续无记忆 p(y|x)=?i p(yi|xi)/连续有记忆
基本连续信道：输入和输出都是单个连续型随机变量的信道
根据噪声的统计特性和作用，多维连续信道和单符号连续信道同样有加性信道、乘性信道和高斯信道等之分。
加性连续信道 p(y|x) ＝ p(n)? h(Y|X)＝ h(n)
加性连续信道
pxy(xy)＝ pxn(x,n=y-x)|J(x,n/x,y)|=pxn(xn)=px (x)pn(n)
py|x(y|x) = pxy(xy)/px(x) = pxn(xn)/px(x) = pn(n)
条件熵 h(Y|X)＝－p(xy)log p(y|x)dxdy
= －? p(x)dx? p(n)log p(n)dn = h(n)
结论 1、传递概率是由噪声引起的；
结论 2、条件熵＝噪声熵说明：后面主要研究高斯白噪声和加性信道
6,7 连续信道和波形信道的信息传输率
6.7.1 单符号连续信道的平均互信息
单符号连续信道的输入信源 X为：
输出信源 Y为：
)()( xp
R
xp
X
1)(
R
dxxp
)()( yp
R
yp
Y 1)(
R
dyyp
I(X;Y) = H(Xn) - H(Xn|Yn)
说明,1）保留了离散信道的平均互信息的所有含义和性质； 2）只不过用连续信源的差熵替代了离散信源的熵。
单符号连续信道的信息传输率：
R=I(X;Y) (比特 /自由度 )
]l o glim)|(l o g)|()([
l o glim)(l o g)(
0
0
d x d yyxpxypxp
dxxpxp
R
R
)|()()( )|(l o g)( YXhXhd x d yxp yxpxyp
R
)|()()( )|(l o g)( XYhYhd x d yyp xypxyp
R
)()()()()( )(l o g)( XYhYhXhd x d yypxp xypxyp
R
6.7.2 多维连续信道的平均互信息
多维连续信道的数学模型为 [X,p(y/x),Y]，
平均互信息：
I(X;Y) = h(X) - h(X|Y) = h(Y) - h(Y|X)
= h(X) + h(Y) - h(XY)
多维连续信道的信息传输率
R=I(X;Y) (比特 /N个自由度 )
平均每个自由度的信息传输率
R=I(X;Y)/N (比特 /自由度 )
6.7.3 波形信道的信息传输率
波形信道的平均互信息为：
I(x(t);y(t)) = limNI(X;Y)
= h(x(t)) - h(x(t)|y(t))
= h(y(t)) - h(y(t)|x(t))
= h(x(t)) + h(y(t)) - h(x(t)|y(t))
对于波形信道，一般研究其单位时间内的信息传输率 Rt
Rt = limTI(X;Y)/T （比特 /秒）
6.7.4 连续信道平均互信息的特性
两连续型随机变量之间的平均互信息的表达式与两离散随机变量之间的平均互信息的表达式不但相类似，而且具有相同的性质。
两连续型随机变量之间的平均互信息有下述特性,
1．非负性,I(X;Y)?0
2．对称性 (交互性 ),I(X;Y) = I(Y;X)
3．凸状性,I(X;Y)是 p(x)的上凸函数，又是 p(y|x)的下凹函数
4．信息不增性,x?y?z?I(X;Z)? I(X;Y)
5．坐标变换平均互信息的不变性,I(S;Z) = I(X;Y)
信源,S 变换,X 传输,Y 信宿,Z
连续信道平均互信息的特性
I(X,Y)与 I(Xi,Yi)的关系,
若平稳连续 信源 是无记忆的：
I(X,Y)i I(Xi,Yi)
若多维连续 信道 是无记忆的：
I(X,Y)i I(Xi,Yi)
若平稳连续 信源 是无记忆的，多维连续 信道 也是无记忆的：
I(X,Y) =?i I(Xi,Yi)
6,8 连续信道和波形信道的信道容量
噪声形式不同，信道带宽以及对信号的各种限制不同,?信道容量不同。
一般多维连续信道的信道容量为：
C=maxp(x)I(X;Y) = maxp(x)[h(Y)-h(Y|X)]
若信道为加性信道，有：
C= maxp(x) [h(Y)-h(n)]
一股波形信道的信道容量为：
Ct=maxp(x) [limTI(X;Y)/T]
= maxp(x) {limT[h(Y)-h(Y|X)]/T} (比特 /秒 )
若信道为加性信道，有：
C= maxp(x) {limT[h(Y)-h(n)]/T}
6.8.1 单符号高斯加性信道
设信道迭加的噪声 n是均值为零，方差为?2的一维高斯噪声，则噪声信源的熵为：
h(n) = log?(2?e?2)
得高斯加性信道的信道容量为：
C= maxp(x) [h(Y) - log?(2?e?2)]
当信道输出信号 Y的平均功率限制在 Po以下时，若 Y
是均值为零的高斯变量，其熵 h(Y)为最大。因此，
得平均功率受限高斯加性信道的信道容量 (每个自由度 )为：
单符号高斯加性信道的信道容量
C只取决于信道的功率信噪比。
2
020 l o g
2
12l o g2l o g
PeePC
)1lo g (21)1lo g (21 2
n
ss
P
PP
Ps是输入信号 X
的平均功率，
Pn=?2 是高斯噪声的平均功率只有当信道的输入信号是均值为零，平均功率为 Ps的高斯分布变量时，信息传输率才能达到这个最大值
6.8.2 单符号非高斯加性信道噪声功率 >高斯信道?信息传输率小于高斯信道
6.8.4 多维无记忆高斯加性连续信道无记忆?
)lo g (21)1lo g (21
n
ns
n
s
P
PPC
P
P
N
i
ii xypxyp
1
)|()|(
)1(l o g21);();(
11 i
i
n
sN
i
N
i
ii P
PYXIYXI
)1(lo g21
1 i
i
n
sN
i P
PC
香农公式? 高斯白噪声加性信道单位时间的信道容量：
6.8.5 高斯白噪声加性波形信道
高斯白噪声加性波形信道是经常假设的一种波形信道。
设信道带宽为 W，输入为 {x(t)}、输出为 {y(t)},信道噪声
{n(t)}是均值为零、功率谱密度为 N0/2的加性高斯白噪声。
当抽样频率为 2W时，每个连续信源的平均信号功率为：
PsT/2WT＝ Ps/2W
)1l o g ()1l o g (2)1(l o g21
001 WN
PWT
WN
PN
P
PC ss
n
sN
i i
i
)1lo g (lim
0 WN
PW
T
CC s
Tt
当信道输入信号是平均功率受限的高斯信号时，信息传输率才达到此信道容量。
噪声功率为,Pn ＝ N0WT/2WT＝ N0/2
信道容量为：
PsT是在 T时间内输入信号 X的总功率,2WT是 T
时间内的样本数
00
0
0
4 4 2 7.1)1l o g (limlim NPWN PPWNNPC ss
s
s
WtW
W Ct?。当 W大到一定程度后,Ct趋于一个常数：
[例 6,4] 在许多电话信道中允许多路复用。一般电话信号的带宽为 3300Hz。若信噪功率比为 20dB(即 Ps/(NoW)=100)
，代入上式计算得电话信通的信道容量为 22000比特／秒。
而实际信通达到的最大信道传输率约为 19200比特／秒。因为在实际电话通道中，还需考虑串音、干扰、回声等等的因素，所以比理论计算的值要小。
6,9 连续信道编码定理
香农第二定理对连续信道也同样成立。只是和研究信道容量一样，还必须对输入信源加以某些限制条件，才能建立编码定理。由信道编码定理得知，连续信道的信道容量 C同样是连续信道中可靠通信的最大信息传输率。
定理 6.1 对于限带高斯白噪声加性信道，噪声功率为 Pn，
带宽为 W，信号平均功率受限为 Ps，则,
(1)当 R?C对,总可以找到一种信道编码在信道中以信息传输率 R传输信息，而使错误概率任意小。
(2)当 R＞ C时，找不到一种信道编码，在信道中以 R传输信息而使错误概率任意小。
由连续信道编码定理可知，香农公式对实际通信系统有着十分重要的指导意义。香农公式给出了达到无错误 (无失真 )
通信传输速率的理论极限值，称为 香农极限 。
)1lo g (lim
0 WN
PW
T
CC s
Tt
香农极限,表明
1,若传输时间 T固定，则扩展信道的带宽 W就可以降低信噪比的要求；反之，带宽变窄，就要增加信噪功率比。也就是说，可以通过带宽和信噪比的互换而保持信息传编率不变。
2,如果信噪功率比固定不变，则增加信道的带 宽 W就可以缩短传送时间了，换取传输时间的节省；或者花较长的传输时间来换取频带的节省。也就是实现频带和通信时间的互换。
3,如果保持频带不变，我们可以采用增加时间 T来改善信噪比。这一原理已被应用于弱信号接收技术中，即所谓积累法。这种方法是将重复多次收到的信号叠更加起来。由于有用信号直接相加，而干扰则是按功率相加，因而经积累相加后，信噪比得到改善，但所需接收时间相应增长。
小 结一、连续信源的差熵二、多维连续平稳信源的差熵三、波形信源的差熵四、均匀分布连续信源的熵 (取值区间 [a,b])
五、均匀分布 N维连续信源的熵 (取值区间 [a1,b1],…,[a N,bN])
六、高斯信源的熵（ X~N（ m,? 2 ）
七,N维高斯信源的熵（ X~N（ mi,?2 ）
八、多维连续平稳信源的最大差熵（协方差矩阵受限）
九、熵功率不等式十、差熵因坐标变换的变化十一、加性信道单符号连续信道平均互信息多维连续信源的平均互信息波形信道信息传输率连续信道平均互信息的特性十一、信道容量单符号高 斯加性信道单符号非高斯加性信道多维无记忆高斯加性连续信道多维有记忆高斯加性连续信道信息传输定理
