第六章 波形信源和波形信道
第一节 波形信源的统计特性和离散化
第二节 连续信源和信源的信息测度
第三节 具有最大熵的连续信源
第四节 连续信道和波形信道的分类
第五节 连续信道和波形信道的信息传输率
第六节 连续信道和波形信道的信道容量
第七节 连续信道编码定理
第一节 波形信源的统计特性和离散化
实际某些信源的输出常常是时间和取值都是连续的消
息。例如语音信号、电视信号。这样的信源成为随机波形
信源，其输出消息可以用 随机过程 {x(t)}来表示。
随机过程 {x(t)}可以看成由一族时间函数 组成
称为样本函数。每个样本函数是随机过程的一个实现。 { ( )}ixt
（ 1）随机波形信源中消息数是无限的。
（ 2）随机波形信源可用有限维概率密度函数族以及与各维
函数概率密度函数有关的统计量来描述。
第一节 波形信源的统计特性和离散化
就统计特性的区别来说，随机过程大致可分为 平稳随机
过程 和 非平稳过程 两大类。
最常见的平稳随机过程为遍历过程，它不但统计特性不
随时间平移而变化，而且它的集平均以概率 1等于时间平均。
对于随机过程来说，只要是限频的，它的每个样本函
数也可作同样的取样处理。每个样本函数都可以用一系列
时刻上的样本值 来表征。因为随机过程的样本
函数 x(t)有无限多个，因此，取样后瞬间 的样本值是
一个随机变量。
2
nt
F? ()2
nx
F
2n
nt
F?
第一节 波形信源的统计特性和离散化
这样，通过取样，随即过程就成为可数的无限维的
随机序列 。
如果随机过程又是限时的，时间间隔为 T，则就成为
2FT个有限维的随机序列。取样之后还要对取值的离散
化。 取样加量化才使随机过程变换成时间的取值都是离
散的随机序列 。量化必然带来量化噪声，引起信息损失。
12
2 2 2
(,,..,,,..,)i
F F F
X X X X?
随机过程描述输出消息的信源称为 随机波形信源 。
用连续随机变量描述输出消息的信源称为 连续信源 。
第二节 波形信源和波形信源的信息测度
连续信源的差熵
先看单个变量的基本连续信源的信息测度。基本连续信
源的输出是取值连续的单个随机变量。可用变量的概率密度，
变量间的条件概率密度和联合概率密度来描述。
变量的一维概率密度函数为
一维概率分布函数为
条件概率密度函数为
联合概率密度函数为
( ) ( )( ),( )
XY
dF x dF yp x p x
dx dy??
1
11( ) [ ] ( )
x
XF x P X x p x d x??? ? ? ?
||( | ),( | )X Y Y Xp x y p y x
21 1 1 1 1 1( ) (,)XYp x y F x y x y? ? ? ?
第二节 波形信源和波形信源的信息测度
它们之间的关系为
基本连续信源的数学模型为
其中 R是全实数集。
||( ) ( ) ( | ) ( ) ( | )XY X Y X Y X Yp x y p x p y x p y p x y??
( ) 1()
R
RX p x d x
px
????
???? ?并且
连续信源
的差熵
连续信源
的信息熵
第二节 波形信源和波形信源的信息测度
( ) ( ) lo g [ ( ) ]n i i
i
H X p x p x? ? ? ??
( ) lo g ( ) ( ) lo gi i i
ii
p x p x p x? ? ? ? ? ???
这样的话：
0( ) l i m ( ) l i m ( ) l og [ ( ) ]n i in iH X H X p x p x? ? ? ?? ? ? ? ??
0( ) l o g ( ) l i m l o g
b
a p x p x ??? ? ? ??
舍弃无穷大的第二项，可得：
( ) ( ) l o g ( )baH X p x p x?? ?
定义 连续信源的熵 为：
第二节 波形信源和波形信源的信息测度
同理可以定义两个连续变量 X,Y的联合熵和条件熵
( ) ( ) l o g ( )
R
h X Y p x y p x y d x d y?? ??
( | ) ( ) ( | ) l o g ( | )
R
h Y X p x p y x p y x d x d y?? ??
( | ) ( ) ( | ) l o g ( | )
R
h X Y p x p y x p x y d x d y?? ??
第二节 波形信源和波形信源的信息测度
连续信源的差熵只具有熵的部分含义和性质
（ 1）可加性
并当且仅当 X与 Y统计独立时
所以可得
（ 2）凸状性和极值性
差熵 h(X)是输入概率密度函数 p(x)的 П型凸函数，对于某一
概率密度函数可以得到差熵的最大。
（ 3）差熵可为负值
( ) ( ) ( | ) ( ) ( | )h X Y h X h Y X h Y h X Y? ? ? ?
( | ) ( ) ( | ) ( )h X Y h X h Y X h Y??或
( ) ( ) ( )h X Y h X h Y??
第二节 波形信源和波形信源的信息测度
波形信源的差熵
实际信源的输入和输出都是平稳随机过程，其 {x(t)}和
{y(t)}可以通过取样，分解成取值连续的无穷平稳随机序列
来表示，所以平稳随机过程的熵就是无穷平稳随机序列的熵。
12( ) ( ) ( ) l o g ( )N Rh X h X X X p x p x d x? ? ? ?
12( ) ( ) ( ) l o g ( )N Rh Y h Y Y Y p y p y d y? ? ? ?
11( | ) ( | ) ( ) l o g ( | )NN RRh Y X h Y Y X X p x y p y x d x d y? ? ? ??
11( | ) ( | ) ( ) l o g ( | )NN RRh X Y h X X Y Y p x y p x y d x d y? ? ? ??
波形信源的差熵, { ( ) } li m ( )
Nh x t h X??
第二节 波形信源和波形信源的信息测度
当对于限频 F/限时 T的平稳随机过程，它可以近似地
用有限维 N=2FT平稳随机矢量表示。这样，一个频带和时
间都为有限的连续时间过程就转化为有限维时间离散的平
稳随机序列了。
和离散变量中一样,易于证明,
且当随机序列中各变量统计独立时等式成立。
1 2 1 2 1 3 1 2 1 2( ) ( ) ( ) ( | ) ( | ) ( | )NNh X h X X h X h X X h X X X h X X X X? ? ? ? ?
1 2 1 2( ) ( ) ( ) ( ) ( )NNh X h X X X h X h X h X? ? ? ? ?
第二节 波形信源和波形信源的信息测度
两种特殊连续信源的差熵
1.均匀分布连续信源的熵值
12() NX X X X?
一维连续随机变量 X在 [a,b]区间内均匀分布时，这基本连
续信源的熵为
N维连续平稳信源，若其输出 N维矢量
其分量分别在 的区域内均匀分布，
N维连续平稳信源的差熵为
( ) l o g ( )h X b a??
12[,],,[,]NNa b a b
11
( ) l og ( ) ( )
N N
i i i
ii
h X b a h X
??
? ? ? ??
第二节 波形信源和波形信源的信息测度
无记忆连续平稳信源和无记忆离散平稳信源一样，差熵
也满足
限频、限时均匀分布的波形信源的熵为
在波形信源中常采用单位时间内信源的差熵 —— 熵率。
均匀分布的波形信源的熵率为
( ) 2 l o g ( )h X F T b a??
12
1
( ) ( ) ( )
N
Ni
i
h X h X X X h X
?
?? ?
( ) 2 l og ( )th X F b a??
第二节 波形信源和波形信源的信息测度
连续信源的熵为,
可见，正态分布的连续信源的熵与数学期望 m无关，只与其
方差 有关。
2
22
1 ( )( ) l o g [ e x p ( ) ]
22
xmp x d x
???
?
??
?? ? ??
2211l o g 2 l o g l o g 2
22 ee? ? ? ?? ? ?
2?
( ) ( ) l og ( )h X p x p x dx????? ?
2.高斯信源的熵值
基本高斯信源是指信源输出是一维随机变量 X的概率密
度分布是正态分布，即 2
22
1 ( )( ) e x p ( )
22
xmpx
???
???
高斯噪声信源的熵
第二节 波形信源和波形信源的信息测度
如果 N维连续平稳信源输出的 N维连续随机矢量
是正态分布则称此信源为 N维高斯信源。
其差熵为：
当各变量之间统计独立，则 C为对角线矩阵，并有
所以,N维无记忆高斯信源的熵即 N维统计独立的正态分布随
机变量的差熵为
12() NX X X X?
1( ) l o g ( 2 )
2
Nh X e C??
2
1
N
i
i
C ?
?
? ?
1
( ) ( )
N
i
i
h X h X
?
? ?
当均值 m=0时,X的方差 就等于信源输出的平均功率 P：2?
1( ) l o g 2
2h X e P??
第三节 具有最大熵的连续信源
通常我们最感兴趣的是两种情况：一种是信源的输出值
受限；一种是信源的输出平均功率受限。
峰值功率受限条件下信源的最大值
若某信源输出信号的峰值功率受限为，它等价于信源输
出的连续随机变量 X的取值幅度受限，限于 [a,b]内取值。在
约束条件 下信源的最大相对熵。
定理 6.1 若信源输出的幅度被限定在 [a,b]区域内，则当输出信
号的概率密度是均匀分布时信源具有最大熵。其值等
于 log(b-a)。若当 N维随机矢量取值受限时，也只有随
机分量统计独立并均匀分布时具有最大熵。
( ) 1ab p x d x ??
第三节 具有最大熵的连续信源
平均功率受限条件下信源的最大值
定理 6.2 若一个连续信源输出信号的平均功率被限定为 P，
则其输出信号幅度的概率密度分布是高斯分布时，
信源有最大熵，其值为 。
对于 N维连续平稳信源来说，若其输出的 N维随机序列的协
方差矩阵 C被限定，则 N维随机为正态分布时信源的熵最大，
N维高斯信源的熵最大，其值为 。
这一结论说明，当连续信源输出信号的平均功率受限
时，只有信号的统计特性与高斯统计特性一样时，才会有
最大的熵值。
1 log 2
2 eP?
1 lo g lo g 2
22
NC e P??
第三节 具有最大熵的连续信源
对于 N维平稳信源也可用类似证明方法，证得当其输出的 N
维协方差矩阵 C受限时,N维高斯信源的熵最大，最大值
为 。
随机序列 中各分量之间不相关，又
，则可证得 N维随机序列得各分量彼此统计独
立，并各自达到正态分布时熵最大，也就是 N维无记忆高
斯信源的熵最大，最大值为 。
如果序列中各分量的均值为零，而平均功率为,
则得 N维无记忆高斯信源得熵最大，最大值为
1 lo g ( 2 )2 NeC?
12,.,NX X X X?
2ii i???
2 2 2121 l o g ( 2 ) (,,, )2 N Ne? ? ? ?
iP
12
1 lo g ( 2 ) (,.,)
2 N Ne P P P?
第四节 连续信道和波形信道的分类
波形信道：信道的输入和输出都是随机过程 {x(t)}和 {y(t)}。
连续信道：用连续随机变量来描述信道的输入和输出的消息。
取样
主要研究：噪声
系统外噪声
系统内噪声 热噪声
散粒噪声
第四节 连续信道和波形信道的分类
按噪声统计特性分类
1.高斯信道
信道中的噪声是高斯噪声。高斯噪声是平稳遍历的随机过
程，其瞬时值的概率密度函数服从高斯分布（即正态分
布）。
一维概率密度函数为
常见的是二维高斯随机变量。
2
22
1 ( )( ) e x p ( )
22
xmpx
???
???
信道中的噪声是白噪声。白噪声也是平稳遍历的随机过
程。它的功率谱密度均匀分布于整个频率区间
功率谱密度为一常数
其瞬时值的概率密度函数可以是任意的。此处白噪声的功
率是按正、负两半轴上的频谱定义的。只采用正半轴频谱来
定义，则功率谱为,常称为单边谱密度。而 称为双
边谱密度，单位为瓦 /赫 (W/Hz)。显然。白噪声的相关函数
是 函数：
()??? ? ? ??
0() 2n NP ? ? ()??? ? ? ??
0N 0/2N
?
00( ) ( ) ( )
22nn
NNPR? ? ? ?? ? ?
第四节 连续信道和波形信道的分类
2.白噪声信道
第四节 连续信道和波形信道的分类
3.高斯白噪声信道
具有高斯分布的白噪声称为高斯白噪声。一般情况把既
服从高斯分布而功率谱密度又是均匀的噪声称为高斯白噪声。
关于低频限带高斯白噪声有一个很重要的性质，即低频限带
高斯白噪声经过取样函数取值后可分解成 N（＝ 2FT）个统计
独立的高斯随机变量（方差为,均值也为零）。
低频限带高斯白噪声可以看成是无限带宽的高斯白噪声
通过一个理想低通滤波器后所得。如果理想低通滤波器其带
宽为 F赫兹，那么它的传递函数的频率响应为
0 /2N
1 2 2()
0
FFK ? ? ?? ? ? ???
?
? 其他
第四节 连续信道和波形信道的分类
考虑双边谱密度，低频限带高斯白噪声的功率谱密度为
其自相关函数
由功率谱密度可知在时间间隔 的两个样本点之间的相
关函数等于零，
所以各样本值之间不相关。有因为随即变量是高斯概率
密度分布的，所以随机变量之间统计独立。
0 / 2 2 2( ) ( ) ( )
0nn
N F FP P K ? ? ?? ? ?
?
???? ? ?
??
－
其他
0
1 s i n ( 2 )( ) ( )
22
j
nn
FR P e d N F
F
?? ??? ? ?
? ? ?
?
?? ?????
1
2F?
第四节 连续信道和波形信道的分类
4.有色噪声信道
除白噪声以外的噪声称为有色噪声。信道的噪声是
有色噪声称此信道为有色噪声信道。
按噪声对信号的功能分类
1.乘性信道
信道中噪声对信号的干扰作用表现为是与信号相乘的关系，
则信道称为乘性信道，噪声称为乘性干扰。
在实际无线电通信系统中常会遇到乘性干扰。
2.加性信道
信道中噪声对信号的干扰作用表现为与信号相加的关系，
则此信号称为加性信道，此噪声称为加性噪声。
第四节 连续信道和波形信道的分类
{ ( ) } { ( ) } { ( ) }y t x t n t??
{ ( ) } { ( ) } { ( ) }y t x t n t??
第四节 连续信道和波形信道的分类
连续信道的分类
我们研究波形信道，就是要研究波形信道的信息传输
问题。一方面为了便于研究，另一方面因为实际波形信道
的频率总是受限的,所以在有限观察时间 T内，能满足限频 F，
限时 T的条件。因此，根据时间取样定理把波形信道的输入
{x(t)}和输出 {y(t)}的平稳随机过程信号离散化成 N(=2FN)
个时间离散，取值连续的平稳随即序列,
和 这样，波形信道就转化
成多维连续信道。 12 N
X X X X? 12 NY Y Y Y?
第四节 连续信道和波形信道的分类
若多维连续信道的传递概率密度函数满足
则称此信道为连续无记忆信道。若连续信道在任
一时刻输出的变量只与对应时刻的输入变量有关，与
以前时刻的输入，输出变量无关，也与以后的输入变
量无关，则此信道为无记忆连续信道。
连续信道任何时刻的输出变量与其他任何时刻的
输入，输出变量都有关。则此信道称为连续有记忆信
道。
1
( | ) ( | )
N
ii
i
p y x p y x
?
? ?
第四节 连续信道和波形信道的分类
基本连续信道就是输入和输出都是单个连续型随机变量
的信道，基本连续信道就是单符号连续信道，其输入是连续
型随机变量 X,X取值于 [a,b]或实数域 R；输出也是连续性随
机变量 Y，取值于 或实数域 R；信道的传递概率密度函
数为 p(y|x)，并满足
因此，可用 来描述单符号连续信道。
根据噪声的统计特性和作用，多维连续信道和单符号连
续信道同样有加性信道，乘性信道和高斯信道等之区分。
对于加性信道，信道的传递概率密度函数就等于噪声的
概率密度函数。这也进一步说明了信道的传递概率是由于噪
声所引起的。
( | ) 1R p y x d y ??
[,( | ),]X p y x Y
[,]ab??
噪声 n
输入 Y输入 X
第四节 连续信道和波形信道的分类
因此，在加性信道中，条件熵为
根据坐标变换得
所以
结论说明了条件熵 是由于信道中噪声引起的，它完
全等于噪声信源的熵，所以称为噪声熵。
以后主要讨论的是加性信道，噪声源主要是 高斯白噪声 。
( ) ( | ) l o g ( | )p x d x p y x p y x d y? ? ? ?? ? ? ????? ? ?
R
h(X|Y)=- p(xy)log(y|x)dxdy
( | ) ( ) ( ) l o g ( ) ( )h Y X p x d x p n p n d n h n?? ??? ??? ? ???
d x d y d x d n?
( | )h Y X
信道 +
第五节 连续信道和波形信道的信息传输率
单符号连续信道的平均互信息
单符号连续信道的数学模型为
输入信源 X为
输出信源 Y为
而信道的传递概率密度函数为
( ) 1( ) ( )
R
XR p x d x
p x p x
? ? ? ???
? ? ? ?? ? ? ? ?并且
( ) 1( ) ( )
R
YR p y d y
p y p y
? ? ? ???
? ? ? ?? ? ? ? ?并且
( | ) 1R p y x d y ??
第五节 连续信道和波形信道的信息传输率
对于连续信道的平均互信息来说，关系式和离散信道下平均
互信息的关系式完全类似，而且保留了离散信道平均互信息
的含义和性质，只是表达式中用连续信源的差熵代替了离散
信源的熵。
单符号连续信道的信息传输率 （比特 /自由度）
( ; ) ( ) ( | )
( ) ( | )
( ) ( | )
( ) ( ) ( )
n n n
I X Y H X H X Y
h X h X Y
h Y h Y X
h X h Y h XY
??
??
??
? ? ?
( ; )R I X Y?
平均互信息为：
第五节 连续信道和波形信道的信息传输率
多维连续信道的平均互信息
多维连续信道的数学模型是 [X,p(y|x),Y]，其传递概
率密度函数为：
多维连续信道的平均互信息为：
1
( | ) ( | )N ii
i
p y x p y x
?
? ?
( ; ) ( ) ( | )
( ) ( | )
( ) ( | )
( ) ( ) ( )
n n n
I X Y H X H X Y
h X h X Y
h Y h Y X
h X h Y h XY
??
??
??
? ? ?
第五节 连续信道和波形信道的信息传输率
根据随机矢量 X和 Y的差熵和条件差熵的表达式可得：
以上表达式与离散信道下平均互信息的完全类，只是表达式
中概率分布函数用概率密度函数来替代，求和号用积分号来
替代。因此，离散扩展信道中平均互信息的性质在多维连续
信道中仍成立。
( | ) ( | )
( ; ) ( ) l o g ( ) l o g
( ) ( )
()
( ) l o g
( ) ( )
x y x y
xy
p x y p y x
I X Y p x y d x d y p x y d x d y
p x p y
p x y
p x y d x d y
p x p y
??
?
?? ??
??
第五节 连续信道和波形信道的信息传输率
多维连续信道的信息传输率 （比特 /N自由度）
平均每个自由度的信息传输率 （比特 /自由度）
波形信道的信息传输率
波形信道输入是平稳随机过程 {x(t)}，输出也是平稳随
机过程 {y(t)}。一般情况，对于波形信道来说，都是研究其
单位时间内的信息传输率
1 ( ; )
NR I X YN?
( ; )R I X Y?
tR
1l i m ( ; ) (
t TR I X YT??? 比特/ 秒）
第五节 连续信道和波形信道的信息传输率
1.非负性
2.对称性（交互性）
因为
当 X和 Y统计独立时即 p(x|y)=p(x),I(X;Y)=I(Y;X)=0
就不可能从一个随机变量获得关于另一个随机变量的
信息。
3.凸状性
连续变量之间的平均互信息是输入连续变量 X和概率密
度函数 p(x)的 ∩ 型凸函数；平均互信息又是连续信道
传递概率密度函数 p(y|x)的 U型凸函数。
( ; ) 0I X Y ?
( ) ( ) ( ; ) ( ; )p x y p y x I X Y I Y X??所以
连续信道平均互信息的特性
第六节 连续信道和波形信道的信道容量
和离散信道一样，对于固定的连续信道和波形信道都
有一个 最大的信息传输率，称为信道容量。它也是信道
可靠传输的最大信息传输率。 对于不同的连续信道和波
形信道，它们存在的噪声形式不同，信道的带宽以及信
号的各种限制不同，所以具有不同的信道容量。
( ) ( )m a x ( ; ) m a x [ ( ) ( | ) ] (p x p xC I X Y h Y h Y X? ? ? 比特/ N 自由度）
一般的 多维连续信道 的信道容量为,
( ) ( )
11m a x [ l i m ( ; ) ] m a x { l i m [ ( ) ( | ) ] } ( /
t TTp x p xC I X Y h Y h Y XTT? ? ? ?? ? ? 比特 秒）
一般的 波形信道 的信道容量为,
第六节 连续信道和波形信道的信道容量
一般 多维加性连续信道 的信道容量为,
()m a x [ ( ) ( ) ] ( / )pxC h X h n N?? 比特 自由度
加性信道的信道容量取决于噪声的统计特性和输入随机矢
量所受的限制条件。一般的实际信道中，无论输入信号和
噪声的平均功率或能量总是有限的。
()
()
1
m a x { [ l i m [ ( ) ( ) ] }
1
m a x {l i m [ ( ) ( ) ] } ( /
t T
px
Tpx
C h Y h n
T
h Y h n
T
??
??
??
?? 比特 秒）
一般 加性波形信道 的信道容量为,
第六节 连续信道和波形信道的信道容量
单符号高斯加性信道
单符号高斯加性信道的输入和输出都是取值连续的一维
随机变量，而加入信道的噪声是加性高斯噪声。
设信道迭加的噪声 n是均值为零，方差为 的一维高
斯噪声，噪声信源的熵为
高斯加性信道的信道容量
平均功率受限高斯信道的信道容量
只有当信道的输入信号是均值为零，平均功率为高斯分
布的随机变量时，信息传输率才能达到最大值。
2( ) lo g 2h n e???
2
()m a x [ ( ) l og 2 ]pxC h Y e????
1 lo g (1 )
2
s
n
PC
P??
2?
第六节 连续信道和波形信道的信道容量
单符号非高斯加性信道
信道的输入和输出都是取值连续的一维随机变量 X和 Y。
信道的噪声 Z时均值为零，平均功率为 Pn的加性噪声。而
且输入信号 X的平均功率受限为 Ps。这时噪声是非高斯噪
声。
当且仅当噪声为高斯加性时，等号才成立。
多维无记忆高斯加性连续信道
信道输入随机序列,输出随机序列
11l og( ) l og( )
22
s n s n
nn
P P P PC
PP
????
12,.,NX X X X? 12,.,NY Y Y Y?
第六节 连续信道和波形信道的信道容量
因为是加性信道，所以有 Y=X+n，其中 是均值为
零的高斯噪声。
当且仅当输入随机矢量 X中各分量统计独立，并且均值为零，
方差为不同的高斯变量时才能达到此信道容量。
高斯白噪声加性波形信道
信道的输入和输出信号是随机过程 {x(t)}和 {y(t)}，而加入
信道的噪声是加性高斯白噪声 {n(t)}（其均值为零，功率
谱密度为,输出信号满足 {y(t)}={x(t)}+{n(t)}
12,.,Nn n n n?
() 1
1m a x ( ; ) ( 1 ) /
2
i
i
N
s
px i
n
P
C I X Y N
P?
? ? ?? （比特 自由度）
0 2N
第六节 连续信道和波形信道的信道容量
波形信道可以分解成 N维统计独立得随机序列，每个分量
均值为 0，方差为 2 00/ 2 / 2nP N WT WT N? ? ? ?
1
1 lo g ( 1 )
2
N
si
i ni
PC
P????
每个信号样本值的平均功率为 /2
2 ss
PP T W T
W?
在 [0,T]时刻内，信道的信道容量为
0
lo g ( 1 ) ( / )sPW T NNW?? 比特 自由度
0
/2lo g ( 1 ) ( / )
/2
sPWC W T N
N?? 比特 自由度
第六节 连续信道和波形信道的信道容量
要达到这个信道容量要求输入 N维随机序列 X中每一分量
Xi都是均值为零，方差为 Ps，彼此统计独立的高斯变量。
高斯白噪声加性信道的单位时间的信道容量
其中 Ps是信号的平均功率,为高斯白噪声在带宽 W
内的平均功率。可见，信道容量与信噪功率比和带宽有关。
oNW
0
l i m l og( 1 ) ( / )st T PCCW T N W??? ? ? 比特 秒
第六节 连续信道和波形信道的信道容量
这就是重要的香农公式。当信道输入信号是平均功率受
限的高斯白噪声信号时，信息传输率才达到此信道容量。
一些实际的信道是非高斯波形信道。由前可知高斯加
性信道的信道容量是非高斯信道容量的下限值。所以，香
农公式可适用于其他一般的非高斯波形信道，由香农公式
得到的值是非高斯波形信道的信道容量的下限值。
由香农公式可以看出，当带宽 W增大时，信道容量
也开始增大，当 时,趋于一极限值 。
tC
W ?? tC
0
logsP eN
第七节 连续信道编码定理
第五章中讨论了香农第二定理，对连续信道同样是
成立的。只是和研究信道容量一样，还必须对输入信源
加以某些限制条件才能建立编码定理。由信源编码定理
得知，连续信道的信道容量 C同样是连续信源中可靠通
信的最大信息传输率。
定理 6.1 对于限带高斯白噪声加性信道，噪声功率为,
带宽为 W，信号平均功率受限为,
（ 1）当,总可以找到一种信道编码
在信道中以信息传输率 R传输信息，而使错误概率任意
小。
nP
sP
l o g (1 )s
n
PR C W
P? ? ?
第七节 连续信道编码定理
（ 2）当 找不到一种信道编码，在信道中以 R传输
信息而使错误概率任意小。
定理 6.1的证明方法可类似于离散信道的情况。在连续信
源中也可以定义 典型序列和 典型序列集 。
由连续信道编码定理可知，香农公式对实际通信系统有
着十分重要的指导意义。香农公式给出了达到无错误
（无失真）通信的传输速率的理论极限值，现在称为
香农极限。
我们简要的讨论一下香农公式的某些实际应用。
RC?
? ? NG?
第七节 连续信道编码定理
/snPP
0
l i m l og ( 1 )st
T
PCCW
T N W??? ? ?
以上的香农公式把信道的统计参量（信道容量）和实际物理量
（频带宽宽度 W，时间 T，信噪功率比 ）联系起来。它表明
一个信道可靠传输的最大信息量完全由 W,T,所确定。
一旦这三个物理量给定，理想通信系统的极限信息传输率确
定了。由此可见，对一定的信息传输率来说，带宽 W，传输时
间 T和信噪功率比 三者之间可以相互转换。
（ 1）若传输时间 T固定，则扩展信道的带宽 W就可以降低
信噪比的要求；反之，带变窄，就要增加信噪功率比。
/snPP
/snPP
/snPP
第七节 连续信道编码定理
（ 2）如果信固定不变，则增加信道的带宽 W就可以缩短
传送时间 T，换取传输时间的节省；或者花费较长的传
输时间来换取频带的节省。
（ 3）如果保持频带不变，我们可以采用增加时间 T来改
善信噪比。这一原理已被应用于弱信号接收技术中，
即所谓积累法。这种方法是将重复多次收到的信号叠
加起来。由于有用信号直接叠加，而干则是按功率相
加，因而经积累相加后，信噪比得到改善，但所需接
收时间相应增长。
第一节 波形信源的统计特性和离散化
第二节 连续信源和信源的信息测度
第三节 具有最大熵的连续信源
第四节 连续信道和波形信道的分类
第五节 连续信道和波形信道的信息传输率
第六节 连续信道和波形信道的信道容量
第七节 连续信道编码定理
第一节 波形信源的统计特性和离散化
实际某些信源的输出常常是时间和取值都是连续的消
息。例如语音信号、电视信号。这样的信源成为随机波形
信源，其输出消息可以用 随机过程 {x(t)}来表示。
随机过程 {x(t)}可以看成由一族时间函数 组成
称为样本函数。每个样本函数是随机过程的一个实现。 { ( )}ixt
（ 1）随机波形信源中消息数是无限的。
（ 2）随机波形信源可用有限维概率密度函数族以及与各维
函数概率密度函数有关的统计量来描述。
第一节 波形信源的统计特性和离散化
就统计特性的区别来说，随机过程大致可分为 平稳随机
过程 和 非平稳过程 两大类。
最常见的平稳随机过程为遍历过程，它不但统计特性不
随时间平移而变化，而且它的集平均以概率 1等于时间平均。
对于随机过程来说，只要是限频的，它的每个样本函
数也可作同样的取样处理。每个样本函数都可以用一系列
时刻上的样本值 来表征。因为随机过程的样本
函数 x(t)有无限多个，因此，取样后瞬间 的样本值是
一个随机变量。
2
nt
F? ()2
nx
F
2n
nt
F?
第一节 波形信源的统计特性和离散化
这样，通过取样，随即过程就成为可数的无限维的
随机序列 。
如果随机过程又是限时的，时间间隔为 T，则就成为
2FT个有限维的随机序列。取样之后还要对取值的离散
化。 取样加量化才使随机过程变换成时间的取值都是离
散的随机序列 。量化必然带来量化噪声，引起信息损失。
12
2 2 2
(,,..,,,..,)i
F F F
X X X X?
随机过程描述输出消息的信源称为 随机波形信源 。
用连续随机变量描述输出消息的信源称为 连续信源 。
第二节 波形信源和波形信源的信息测度
连续信源的差熵
先看单个变量的基本连续信源的信息测度。基本连续信
源的输出是取值连续的单个随机变量。可用变量的概率密度，
变量间的条件概率密度和联合概率密度来描述。
变量的一维概率密度函数为
一维概率分布函数为
条件概率密度函数为
联合概率密度函数为
( ) ( )( ),( )
XY
dF x dF yp x p x
dx dy??
1
11( ) [ ] ( )
x
XF x P X x p x d x??? ? ? ?
||( | ),( | )X Y Y Xp x y p y x
21 1 1 1 1 1( ) (,)XYp x y F x y x y? ? ? ?
第二节 波形信源和波形信源的信息测度
它们之间的关系为
基本连续信源的数学模型为
其中 R是全实数集。
||( ) ( ) ( | ) ( ) ( | )XY X Y X Y X Yp x y p x p y x p y p x y??
( ) 1()
R
RX p x d x
px
????
???? ?并且
连续信源
的差熵
连续信源
的信息熵
第二节 波形信源和波形信源的信息测度
( ) ( ) lo g [ ( ) ]n i i
i
H X p x p x? ? ? ??
( ) lo g ( ) ( ) lo gi i i
ii
p x p x p x? ? ? ? ? ???
这样的话：
0( ) l i m ( ) l i m ( ) l og [ ( ) ]n i in iH X H X p x p x? ? ? ?? ? ? ? ??
0( ) l o g ( ) l i m l o g
b
a p x p x ??? ? ? ??
舍弃无穷大的第二项，可得：
( ) ( ) l o g ( )baH X p x p x?? ?
定义 连续信源的熵 为：
第二节 波形信源和波形信源的信息测度
同理可以定义两个连续变量 X,Y的联合熵和条件熵
( ) ( ) l o g ( )
R
h X Y p x y p x y d x d y?? ??
( | ) ( ) ( | ) l o g ( | )
R
h Y X p x p y x p y x d x d y?? ??
( | ) ( ) ( | ) l o g ( | )
R
h X Y p x p y x p x y d x d y?? ??
第二节 波形信源和波形信源的信息测度
连续信源的差熵只具有熵的部分含义和性质
（ 1）可加性
并当且仅当 X与 Y统计独立时
所以可得
（ 2）凸状性和极值性
差熵 h(X)是输入概率密度函数 p(x)的 П型凸函数，对于某一
概率密度函数可以得到差熵的最大。
（ 3）差熵可为负值
( ) ( ) ( | ) ( ) ( | )h X Y h X h Y X h Y h X Y? ? ? ?
( | ) ( ) ( | ) ( )h X Y h X h Y X h Y??或
( ) ( ) ( )h X Y h X h Y??
第二节 波形信源和波形信源的信息测度
波形信源的差熵
实际信源的输入和输出都是平稳随机过程，其 {x(t)}和
{y(t)}可以通过取样，分解成取值连续的无穷平稳随机序列
来表示，所以平稳随机过程的熵就是无穷平稳随机序列的熵。
12( ) ( ) ( ) l o g ( )N Rh X h X X X p x p x d x? ? ? ?
12( ) ( ) ( ) l o g ( )N Rh Y h Y Y Y p y p y d y? ? ? ?
11( | ) ( | ) ( ) l o g ( | )NN RRh Y X h Y Y X X p x y p y x d x d y? ? ? ??
11( | ) ( | ) ( ) l o g ( | )NN RRh X Y h X X Y Y p x y p x y d x d y? ? ? ??
波形信源的差熵, { ( ) } li m ( )
Nh x t h X??
第二节 波形信源和波形信源的信息测度
当对于限频 F/限时 T的平稳随机过程，它可以近似地
用有限维 N=2FT平稳随机矢量表示。这样，一个频带和时
间都为有限的连续时间过程就转化为有限维时间离散的平
稳随机序列了。
和离散变量中一样,易于证明,
且当随机序列中各变量统计独立时等式成立。
1 2 1 2 1 3 1 2 1 2( ) ( ) ( ) ( | ) ( | ) ( | )NNh X h X X h X h X X h X X X h X X X X? ? ? ? ?
1 2 1 2( ) ( ) ( ) ( ) ( )NNh X h X X X h X h X h X? ? ? ? ?
第二节 波形信源和波形信源的信息测度
两种特殊连续信源的差熵
1.均匀分布连续信源的熵值
12() NX X X X?
一维连续随机变量 X在 [a,b]区间内均匀分布时，这基本连
续信源的熵为
N维连续平稳信源，若其输出 N维矢量
其分量分别在 的区域内均匀分布，
N维连续平稳信源的差熵为
( ) l o g ( )h X b a??
12[,],,[,]NNa b a b
11
( ) l og ( ) ( )
N N
i i i
ii
h X b a h X
??
? ? ? ??
第二节 波形信源和波形信源的信息测度
无记忆连续平稳信源和无记忆离散平稳信源一样，差熵
也满足
限频、限时均匀分布的波形信源的熵为
在波形信源中常采用单位时间内信源的差熵 —— 熵率。
均匀分布的波形信源的熵率为
( ) 2 l o g ( )h X F T b a??
12
1
( ) ( ) ( )
N
Ni
i
h X h X X X h X
?
?? ?
( ) 2 l og ( )th X F b a??
第二节 波形信源和波形信源的信息测度
连续信源的熵为,
可见，正态分布的连续信源的熵与数学期望 m无关，只与其
方差 有关。
2
22
1 ( )( ) l o g [ e x p ( ) ]
22
xmp x d x
???
?
??
?? ? ??
2211l o g 2 l o g l o g 2
22 ee? ? ? ?? ? ?
2?
( ) ( ) l og ( )h X p x p x dx????? ?
2.高斯信源的熵值
基本高斯信源是指信源输出是一维随机变量 X的概率密
度分布是正态分布，即 2
22
1 ( )( ) e x p ( )
22
xmpx
???
???
高斯噪声信源的熵
第二节 波形信源和波形信源的信息测度
如果 N维连续平稳信源输出的 N维连续随机矢量
是正态分布则称此信源为 N维高斯信源。
其差熵为：
当各变量之间统计独立，则 C为对角线矩阵，并有
所以,N维无记忆高斯信源的熵即 N维统计独立的正态分布随
机变量的差熵为
12() NX X X X?
1( ) l o g ( 2 )
2
Nh X e C??
2
1
N
i
i
C ?
?
? ?
1
( ) ( )
N
i
i
h X h X
?
? ?
当均值 m=0时,X的方差 就等于信源输出的平均功率 P：2?
1( ) l o g 2
2h X e P??
第三节 具有最大熵的连续信源
通常我们最感兴趣的是两种情况：一种是信源的输出值
受限；一种是信源的输出平均功率受限。
峰值功率受限条件下信源的最大值
若某信源输出信号的峰值功率受限为，它等价于信源输
出的连续随机变量 X的取值幅度受限，限于 [a,b]内取值。在
约束条件 下信源的最大相对熵。
定理 6.1 若信源输出的幅度被限定在 [a,b]区域内，则当输出信
号的概率密度是均匀分布时信源具有最大熵。其值等
于 log(b-a)。若当 N维随机矢量取值受限时，也只有随
机分量统计独立并均匀分布时具有最大熵。
( ) 1ab p x d x ??
第三节 具有最大熵的连续信源
平均功率受限条件下信源的最大值
定理 6.2 若一个连续信源输出信号的平均功率被限定为 P，
则其输出信号幅度的概率密度分布是高斯分布时，
信源有最大熵，其值为 。
对于 N维连续平稳信源来说，若其输出的 N维随机序列的协
方差矩阵 C被限定，则 N维随机为正态分布时信源的熵最大，
N维高斯信源的熵最大，其值为 。
这一结论说明，当连续信源输出信号的平均功率受限
时，只有信号的统计特性与高斯统计特性一样时，才会有
最大的熵值。
1 log 2
2 eP?
1 lo g lo g 2
22
NC e P??
第三节 具有最大熵的连续信源
对于 N维平稳信源也可用类似证明方法，证得当其输出的 N
维协方差矩阵 C受限时,N维高斯信源的熵最大，最大值
为 。
随机序列 中各分量之间不相关，又
，则可证得 N维随机序列得各分量彼此统计独
立，并各自达到正态分布时熵最大，也就是 N维无记忆高
斯信源的熵最大，最大值为 。
如果序列中各分量的均值为零，而平均功率为,
则得 N维无记忆高斯信源得熵最大，最大值为
1 lo g ( 2 )2 NeC?
12,.,NX X X X?
2ii i???
2 2 2121 l o g ( 2 ) (,,, )2 N Ne? ? ? ?
iP
12
1 lo g ( 2 ) (,.,)
2 N Ne P P P?
第四节 连续信道和波形信道的分类
波形信道：信道的输入和输出都是随机过程 {x(t)}和 {y(t)}。
连续信道：用连续随机变量来描述信道的输入和输出的消息。
取样
主要研究：噪声
系统外噪声
系统内噪声 热噪声
散粒噪声
第四节 连续信道和波形信道的分类
按噪声统计特性分类
1.高斯信道
信道中的噪声是高斯噪声。高斯噪声是平稳遍历的随机过
程，其瞬时值的概率密度函数服从高斯分布（即正态分
布）。
一维概率密度函数为
常见的是二维高斯随机变量。
2
22
1 ( )( ) e x p ( )
22
xmpx
???
???
信道中的噪声是白噪声。白噪声也是平稳遍历的随机过
程。它的功率谱密度均匀分布于整个频率区间
功率谱密度为一常数
其瞬时值的概率密度函数可以是任意的。此处白噪声的功
率是按正、负两半轴上的频谱定义的。只采用正半轴频谱来
定义，则功率谱为,常称为单边谱密度。而 称为双
边谱密度，单位为瓦 /赫 (W/Hz)。显然。白噪声的相关函数
是 函数：
()??? ? ? ??
0() 2n NP ? ? ()??? ? ? ??
0N 0/2N
?
00( ) ( ) ( )
22nn
NNPR? ? ? ?? ? ?
第四节 连续信道和波形信道的分类
2.白噪声信道
第四节 连续信道和波形信道的分类
3.高斯白噪声信道
具有高斯分布的白噪声称为高斯白噪声。一般情况把既
服从高斯分布而功率谱密度又是均匀的噪声称为高斯白噪声。
关于低频限带高斯白噪声有一个很重要的性质，即低频限带
高斯白噪声经过取样函数取值后可分解成 N（＝ 2FT）个统计
独立的高斯随机变量（方差为,均值也为零）。
低频限带高斯白噪声可以看成是无限带宽的高斯白噪声
通过一个理想低通滤波器后所得。如果理想低通滤波器其带
宽为 F赫兹，那么它的传递函数的频率响应为
0 /2N
1 2 2()
0
FFK ? ? ?? ? ? ???
?
? 其他
第四节 连续信道和波形信道的分类
考虑双边谱密度，低频限带高斯白噪声的功率谱密度为
其自相关函数
由功率谱密度可知在时间间隔 的两个样本点之间的相
关函数等于零，
所以各样本值之间不相关。有因为随即变量是高斯概率
密度分布的，所以随机变量之间统计独立。
0 / 2 2 2( ) ( ) ( )
0nn
N F FP P K ? ? ?? ? ?
?
???? ? ?
??
－
其他
0
1 s i n ( 2 )( ) ( )
22
j
nn
FR P e d N F
F
?? ??? ? ?
? ? ?
?
?? ?????
1
2F?
第四节 连续信道和波形信道的分类
4.有色噪声信道
除白噪声以外的噪声称为有色噪声。信道的噪声是
有色噪声称此信道为有色噪声信道。
按噪声对信号的功能分类
1.乘性信道
信道中噪声对信号的干扰作用表现为是与信号相乘的关系，
则信道称为乘性信道，噪声称为乘性干扰。
在实际无线电通信系统中常会遇到乘性干扰。
2.加性信道
信道中噪声对信号的干扰作用表现为与信号相加的关系，
则此信号称为加性信道，此噪声称为加性噪声。
第四节 连续信道和波形信道的分类
{ ( ) } { ( ) } { ( ) }y t x t n t??
{ ( ) } { ( ) } { ( ) }y t x t n t??
第四节 连续信道和波形信道的分类
连续信道的分类
我们研究波形信道，就是要研究波形信道的信息传输
问题。一方面为了便于研究，另一方面因为实际波形信道
的频率总是受限的,所以在有限观察时间 T内，能满足限频 F，
限时 T的条件。因此，根据时间取样定理把波形信道的输入
{x(t)}和输出 {y(t)}的平稳随机过程信号离散化成 N(=2FN)
个时间离散，取值连续的平稳随即序列,
和 这样，波形信道就转化
成多维连续信道。 12 N
X X X X? 12 NY Y Y Y?
第四节 连续信道和波形信道的分类
若多维连续信道的传递概率密度函数满足
则称此信道为连续无记忆信道。若连续信道在任
一时刻输出的变量只与对应时刻的输入变量有关，与
以前时刻的输入，输出变量无关，也与以后的输入变
量无关，则此信道为无记忆连续信道。
连续信道任何时刻的输出变量与其他任何时刻的
输入，输出变量都有关。则此信道称为连续有记忆信
道。
1
( | ) ( | )
N
ii
i
p y x p y x
?
? ?
第四节 连续信道和波形信道的分类
基本连续信道就是输入和输出都是单个连续型随机变量
的信道，基本连续信道就是单符号连续信道，其输入是连续
型随机变量 X,X取值于 [a,b]或实数域 R；输出也是连续性随
机变量 Y，取值于 或实数域 R；信道的传递概率密度函
数为 p(y|x)，并满足
因此，可用 来描述单符号连续信道。
根据噪声的统计特性和作用，多维连续信道和单符号连
续信道同样有加性信道，乘性信道和高斯信道等之区分。
对于加性信道，信道的传递概率密度函数就等于噪声的
概率密度函数。这也进一步说明了信道的传递概率是由于噪
声所引起的。
( | ) 1R p y x d y ??
[,( | ),]X p y x Y
[,]ab??
噪声 n
输入 Y输入 X
第四节 连续信道和波形信道的分类
因此，在加性信道中，条件熵为
根据坐标变换得
所以
结论说明了条件熵 是由于信道中噪声引起的，它完
全等于噪声信源的熵，所以称为噪声熵。
以后主要讨论的是加性信道，噪声源主要是 高斯白噪声 。
( ) ( | ) l o g ( | )p x d x p y x p y x d y? ? ? ?? ? ? ????? ? ?
R
h(X|Y)=- p(xy)log(y|x)dxdy
( | ) ( ) ( ) l o g ( ) ( )h Y X p x d x p n p n d n h n?? ??? ??? ? ???
d x d y d x d n?
( | )h Y X
信道 +
第五节 连续信道和波形信道的信息传输率
单符号连续信道的平均互信息
单符号连续信道的数学模型为
输入信源 X为
输出信源 Y为
而信道的传递概率密度函数为
( ) 1( ) ( )
R
XR p x d x
p x p x
? ? ? ???
? ? ? ?? ? ? ? ?并且
( ) 1( ) ( )
R
YR p y d y
p y p y
? ? ? ???
? ? ? ?? ? ? ? ?并且
( | ) 1R p y x d y ??
第五节 连续信道和波形信道的信息传输率
对于连续信道的平均互信息来说，关系式和离散信道下平均
互信息的关系式完全类似，而且保留了离散信道平均互信息
的含义和性质，只是表达式中用连续信源的差熵代替了离散
信源的熵。
单符号连续信道的信息传输率 （比特 /自由度）
( ; ) ( ) ( | )
( ) ( | )
( ) ( | )
( ) ( ) ( )
n n n
I X Y H X H X Y
h X h X Y
h Y h Y X
h X h Y h XY
??
??
??
? ? ?
( ; )R I X Y?
平均互信息为：
第五节 连续信道和波形信道的信息传输率
多维连续信道的平均互信息
多维连续信道的数学模型是 [X,p(y|x),Y]，其传递概
率密度函数为：
多维连续信道的平均互信息为：
1
( | ) ( | )N ii
i
p y x p y x
?
? ?
( ; ) ( ) ( | )
( ) ( | )
( ) ( | )
( ) ( ) ( )
n n n
I X Y H X H X Y
h X h X Y
h Y h Y X
h X h Y h XY
??
??
??
? ? ?
第五节 连续信道和波形信道的信息传输率
根据随机矢量 X和 Y的差熵和条件差熵的表达式可得：
以上表达式与离散信道下平均互信息的完全类，只是表达式
中概率分布函数用概率密度函数来替代，求和号用积分号来
替代。因此，离散扩展信道中平均互信息的性质在多维连续
信道中仍成立。
( | ) ( | )
( ; ) ( ) l o g ( ) l o g
( ) ( )
()
( ) l o g
( ) ( )
x y x y
xy
p x y p y x
I X Y p x y d x d y p x y d x d y
p x p y
p x y
p x y d x d y
p x p y
??
?
?? ??
??
第五节 连续信道和波形信道的信息传输率
多维连续信道的信息传输率 （比特 /N自由度）
平均每个自由度的信息传输率 （比特 /自由度）
波形信道的信息传输率
波形信道输入是平稳随机过程 {x(t)}，输出也是平稳随
机过程 {y(t)}。一般情况，对于波形信道来说，都是研究其
单位时间内的信息传输率
1 ( ; )
NR I X YN?
( ; )R I X Y?
tR
1l i m ( ; ) (
t TR I X YT??? 比特/ 秒）
第五节 连续信道和波形信道的信息传输率
1.非负性
2.对称性（交互性）
因为
当 X和 Y统计独立时即 p(x|y)=p(x),I(X;Y)=I(Y;X)=0
就不可能从一个随机变量获得关于另一个随机变量的
信息。
3.凸状性
连续变量之间的平均互信息是输入连续变量 X和概率密
度函数 p(x)的 ∩ 型凸函数；平均互信息又是连续信道
传递概率密度函数 p(y|x)的 U型凸函数。
( ; ) 0I X Y ?
( ) ( ) ( ; ) ( ; )p x y p y x I X Y I Y X??所以
连续信道平均互信息的特性
第六节 连续信道和波形信道的信道容量
和离散信道一样，对于固定的连续信道和波形信道都
有一个 最大的信息传输率，称为信道容量。它也是信道
可靠传输的最大信息传输率。 对于不同的连续信道和波
形信道，它们存在的噪声形式不同，信道的带宽以及信
号的各种限制不同，所以具有不同的信道容量。
( ) ( )m a x ( ; ) m a x [ ( ) ( | ) ] (p x p xC I X Y h Y h Y X? ? ? 比特/ N 自由度）
一般的 多维连续信道 的信道容量为,
( ) ( )
11m a x [ l i m ( ; ) ] m a x { l i m [ ( ) ( | ) ] } ( /
t TTp x p xC I X Y h Y h Y XTT? ? ? ?? ? ? 比特 秒）
一般的 波形信道 的信道容量为,
第六节 连续信道和波形信道的信道容量
一般 多维加性连续信道 的信道容量为,
()m a x [ ( ) ( ) ] ( / )pxC h X h n N?? 比特 自由度
加性信道的信道容量取决于噪声的统计特性和输入随机矢
量所受的限制条件。一般的实际信道中，无论输入信号和
噪声的平均功率或能量总是有限的。
()
()
1
m a x { [ l i m [ ( ) ( ) ] }
1
m a x {l i m [ ( ) ( ) ] } ( /
t T
px
Tpx
C h Y h n
T
h Y h n
T
??
??
??
?? 比特 秒）
一般 加性波形信道 的信道容量为,
第六节 连续信道和波形信道的信道容量
单符号高斯加性信道
单符号高斯加性信道的输入和输出都是取值连续的一维
随机变量，而加入信道的噪声是加性高斯噪声。
设信道迭加的噪声 n是均值为零，方差为 的一维高
斯噪声，噪声信源的熵为
高斯加性信道的信道容量
平均功率受限高斯信道的信道容量
只有当信道的输入信号是均值为零，平均功率为高斯分
布的随机变量时，信息传输率才能达到最大值。
2( ) lo g 2h n e???
2
()m a x [ ( ) l og 2 ]pxC h Y e????
1 lo g (1 )
2
s
n
PC
P??
2?
第六节 连续信道和波形信道的信道容量
单符号非高斯加性信道
信道的输入和输出都是取值连续的一维随机变量 X和 Y。
信道的噪声 Z时均值为零，平均功率为 Pn的加性噪声。而
且输入信号 X的平均功率受限为 Ps。这时噪声是非高斯噪
声。
当且仅当噪声为高斯加性时，等号才成立。
多维无记忆高斯加性连续信道
信道输入随机序列,输出随机序列
11l og( ) l og( )
22
s n s n
nn
P P P PC
PP
????
12,.,NX X X X? 12,.,NY Y Y Y?
第六节 连续信道和波形信道的信道容量
因为是加性信道，所以有 Y=X+n，其中 是均值为
零的高斯噪声。
当且仅当输入随机矢量 X中各分量统计独立，并且均值为零，
方差为不同的高斯变量时才能达到此信道容量。
高斯白噪声加性波形信道
信道的输入和输出信号是随机过程 {x(t)}和 {y(t)}，而加入
信道的噪声是加性高斯白噪声 {n(t)}（其均值为零，功率
谱密度为,输出信号满足 {y(t)}={x(t)}+{n(t)}
12,.,Nn n n n?
() 1
1m a x ( ; ) ( 1 ) /
2
i
i
N
s
px i
n
P
C I X Y N
P?
? ? ?? （比特 自由度）
0 2N
第六节 连续信道和波形信道的信道容量
波形信道可以分解成 N维统计独立得随机序列，每个分量
均值为 0，方差为 2 00/ 2 / 2nP N WT WT N? ? ? ?
1
1 lo g ( 1 )
2
N
si
i ni
PC
P????
每个信号样本值的平均功率为 /2
2 ss
PP T W T
W?
在 [0,T]时刻内，信道的信道容量为
0
lo g ( 1 ) ( / )sPW T NNW?? 比特 自由度
0
/2lo g ( 1 ) ( / )
/2
sPWC W T N
N?? 比特 自由度
第六节 连续信道和波形信道的信道容量
要达到这个信道容量要求输入 N维随机序列 X中每一分量
Xi都是均值为零，方差为 Ps，彼此统计独立的高斯变量。
高斯白噪声加性信道的单位时间的信道容量
其中 Ps是信号的平均功率,为高斯白噪声在带宽 W
内的平均功率。可见，信道容量与信噪功率比和带宽有关。
oNW
0
l i m l og( 1 ) ( / )st T PCCW T N W??? ? ? 比特 秒
第六节 连续信道和波形信道的信道容量
这就是重要的香农公式。当信道输入信号是平均功率受
限的高斯白噪声信号时，信息传输率才达到此信道容量。
一些实际的信道是非高斯波形信道。由前可知高斯加
性信道的信道容量是非高斯信道容量的下限值。所以，香
农公式可适用于其他一般的非高斯波形信道，由香农公式
得到的值是非高斯波形信道的信道容量的下限值。
由香农公式可以看出，当带宽 W增大时，信道容量
也开始增大，当 时,趋于一极限值 。
tC
W ?? tC
0
logsP eN
第七节 连续信道编码定理
第五章中讨论了香农第二定理，对连续信道同样是
成立的。只是和研究信道容量一样，还必须对输入信源
加以某些限制条件才能建立编码定理。由信源编码定理
得知，连续信道的信道容量 C同样是连续信源中可靠通
信的最大信息传输率。
定理 6.1 对于限带高斯白噪声加性信道，噪声功率为,
带宽为 W，信号平均功率受限为,
（ 1）当,总可以找到一种信道编码
在信道中以信息传输率 R传输信息，而使错误概率任意
小。
nP
sP
l o g (1 )s
n
PR C W
P? ? ?
第七节 连续信道编码定理
（ 2）当 找不到一种信道编码，在信道中以 R传输
信息而使错误概率任意小。
定理 6.1的证明方法可类似于离散信道的情况。在连续信
源中也可以定义 典型序列和 典型序列集 。
由连续信道编码定理可知，香农公式对实际通信系统有
着十分重要的指导意义。香农公式给出了达到无错误
（无失真）通信的传输速率的理论极限值，现在称为
香农极限。
我们简要的讨论一下香农公式的某些实际应用。
RC?
? ? NG?
第七节 连续信道编码定理
/snPP
0
l i m l og ( 1 )st
T
PCCW
T N W??? ? ?
以上的香农公式把信道的统计参量（信道容量）和实际物理量
（频带宽宽度 W，时间 T，信噪功率比 ）联系起来。它表明
一个信道可靠传输的最大信息量完全由 W,T,所确定。
一旦这三个物理量给定，理想通信系统的极限信息传输率确
定了。由此可见，对一定的信息传输率来说，带宽 W，传输时
间 T和信噪功率比 三者之间可以相互转换。
（ 1）若传输时间 T固定，则扩展信道的带宽 W就可以降低
信噪比的要求；反之，带变窄，就要增加信噪功率比。
/snPP
/snPP
/snPP
第七节 连续信道编码定理
（ 2）如果信固定不变，则增加信道的带宽 W就可以缩短
传送时间 T，换取传输时间的节省；或者花费较长的传
输时间来换取频带的节省。
（ 3）如果保持频带不变，我们可以采用增加时间 T来改
善信噪比。这一原理已被应用于弱信号接收技术中，
即所谓积累法。这种方法是将重复多次收到的信号叠
加起来。由于有用信号直接叠加，而干则是按功率相
加，因而经积累相加后，信噪比得到改善，但所需接
收时间相应增长。
