第四章 信道及其容量
信道及其容量
? 4.1信道分类
? 4.2离散无记忆信道
? 4.3信道的组合
? 4.4时间离散的无记忆信道
? 4.5波形信道
4.1信道分类
4.1信道分类
? 离散信道：输入输出均为离散事件集
? 连续信道：输入输出空间均为连续事件集
? 半连续信道：输入和输出一个是离散的，一个
是连续的
? 时间离散的连续信道：信道输入和输出是连续
的时间序列
? 波形信道：输入和输出都是时间的实函数 x(t),
y(t)
4.1 信道分类
? 两端信道
? 多端信道
? 恒参信道：参数不随时间变化
? 随参信道：参数随时间变化
? 无记忆信道和有记忆信道
? 对称信道和非对称信道
4.2 离散无记忆信道
离散无记忆信道
?
?
?
N
n
nnN xypxyp
1
)|()|(
平稳信道
)|()|( kxjypkxjyp mmnn ?????
例：二元对称信道
? p=0.1
1-p
1-p
p
p
1 1
0 0
信道容量
);(m a x
)|(
)|(
l o g)|();(
}{
1
0
1
0
1
0
YXIC
ijpQ
kjp
kjpQYXI
k
Q
K
k
J
j
K
i
i
k
?
? ? ?
?
?
?
?
?
?
?
定理 4.2.1
NCYXI
YXIYXI
NN
N
n
nn
NN
?
? ?
?
);(
);();(
1
定理 4.2.2
? Q={Q0,Q1,…,Q K-1}达到信道容量的充
要条件
0);(
0);(
???
???
k
k
QCYkxI
QCYkxI
对称 DMC容量的计算
? 若信道转移概率矩阵所有行矢量都是
第一行的置换，称为关于输入对称。
)|(l o g)|()|()|(
1
0
kjpkjpxYHXYH
J
j
?
?
?
???
对称 DMC容量的计算
? P的所有列都是第一列的一种置换，关
于输出是对称的
? 当输入事件等概,Qk=1/K
J
kjp
K
kjpQ
j
K
k
K
k
kj
1
)|(
1
)|(
1
0
1
0
?
?? ? ?
?
?
?
?
?
?
对称 DMC的容量计算
? 输出集 Y可划为若干和子集,每个子集对应的信
道转移概率矩阵 P中列所组成的子阵具有下列
性质
? 每一行都是第一行的置换
? 每一列都是第一列的置换
该信道称为准对称信道
? 关于输入对称
? Y的划分只有一个时，关于输入和输出均对称，称
为对称信道 （例）
对称 DMC容量的计算
? 定理 4.2.3 实现准对称 DMC信道容量的输入分
布为等概分布
? ?
?
?
?
?
?
?
?
?
?
?
?
??
s Yj
K
i
J
j
K
i
S ijp
K
kjp
kjp
ijp
K
kjp
kjpYkxI
1
0
1
0
1
0
)|(
1
)|(
l o g)|(
)|(
1
)|(
l o g)|();(
YS：子
阵中每
一列都
是第一
列置换 对每个
j相同
对每个
k相同
对称 DMC容量计算
? K元对称信道
? 二元对称信道 C=1-H(p)
? 准对称信道
离散无记忆模 K加性噪声信道
? Z=X=Y={0,1,…,K -1}
? y=x+z mod K
)(l o g
)(
)(l o g)()(
)|(l o g)|()()|(
,
,
ZHKC
ZH
zpzpxQ
xypxypxQXYH
zx
yx
??
?
?
?
?
?
一般 DMC的容量计算
? 信道转移矩阵时非奇异
方阵，假定所有 Qk>0
? ?
??
?
?
?
?
?
?
?
?
?
?
?
????
????
???
1
0
1
0
1
0
1
0
1
0
1,.,,,1,0)|(l o g)|(]l o g)[|(
1,.,,,1,0l o g)|()|(l o g)|(
1,.,,,1,0)|(
J
j
J
j
j
J
j
j
J
j
K
k
kj
KkkjpkjpCkjp
KkCkjpkjpkjp
KjkjpQ
?
?
?
一般 DMC的容量计算
?
?
?
?
???
?
j
j
j
C
jjj
j
j
C
C
?
?
?
???
2l o g
1
2l o g
4.3 信道的组合
积信道
? C1＝ maxI(X1,Y1)
? C2＝ maxI(X2,Y2)
? 信道 1和信道 2同时传
递消息，输入集
X=X1× X2,输出集
Y=Y1× Y2,转移概率
p(jj’|kk’)=p(j|k)p(j’|k’)
? C=C1+C2
信道 1
P(j|k)
X1 Y1
信道 2
P(j‘|k’)
X2 Y2
和信道
? 单位时间内可随机选用信道 1和信道 2中的一个，选
用信道 1的概率为 p1，选用信道 2的概率为 p2,p1 ＋
p2＝ 1
? 输入空间 X=X1+X2,Y=Y1+Y2,
n
n
CC
n
N
n
C
CC
p
C
C
PHpYXIpYXIYXI
?
?
?
?
?
?
?
?
?
?
??
???
?
2
2lo g
]22[lo g
)();();();(
1
2
222111
21
级联信道
? 信道 1的输出作为信道 2
的输入
? ??
j
jkjpkjpkjp )'|'()|()|'(
4.4 时间离散的无记忆连
续信道
可加噪声信道
? P(y|x)=p(y-x)=p(z)
)()();(
)()|(
ZHYHYXI
ZHXYH
cc
cc
??
?
可加噪声信道
? 高斯噪声信道
)1l o g (
2
1
)()();(
2
2
z
x
c XHYHYXI ?
?
????
平均功率受限的可加噪声信道
n
x
nnn
N
n
n
xdxQxx
Sx
N
n
?
?
?
?
?
)(
1
22
1
2
平均功率受限的时间离散、恒参、
可加高斯噪声信道容量
)1l o g (
2
1
2
?
S
C ??
最佳分布是均值为 0，方差为 S的高斯型
分布
平均功率受限时间离散恒参可加
噪声信道容量
22222
2
2
2
]l o g [
2
1
)1l o g (
2
1
?????
?
?
?
????
?
???
xyx
S
C
S
给定信号功率，高斯信道是最差的信道
平行可加高斯噪声信道
? X=(x1,…,x N),y=(y1,…,y N)
BSES
BS
C
nn
N
n
n
Bn n
N
n n
n
n
???
???
?
??
?
??
2
1
:
2
1
2
,
lo g
2
1
)1lo g (
2
1
2
?
??
?
4.5 波形信道
可加波形信道
? Y(t)=x(t)+z(t)
),,(),,,(
)()(
)()(
)()(
)()(
11
0
0
NN
T
nn
T
nn
n
nn
n
nn
yyyxxx
dtttyy
dtttxx
tyty
txtx
?? ??
?
?
?
?
?
?
?
?
?
?
?
?
可加波形信道
)];([ s u p
1
,lim
);(lim)]();([
)|()(
)|(
l o g);(
);(lim)]();([
NN
TT
T
NN
N
T
NN
N
N
T
YXI
T
CCC
YXItYtXI
dxxypxQ
xyp
yxI
yxItytxI
??
?
?
?
??
??
??
?
可加波形信道
STSxE
STdttxE
zxy
dtttzz
tztz
n
n
n
n
T
nnn
T
nn
n
nn
??
?
??
?
?
??
?
?
?
)(
])([
)()(
)()(
2
0
2
0
?
?
可加波形信道
)
2
1lo g (
2
)
2
1lo g (
2
);(m a x
)
2
1lo g (
2
1
);();(
0
0
1 01
NN
ST
T
N
C
NN
STN
YXI
N
S
YXIYXI
T
NN
N
n
n
N
n
nn
NN
??
??
??? ??
??
Shannon公式
? N=2WT
)/(44.1
)1lo g (
0
0
NSC
WN
S
WC
?
??
?
W趋于无穷大，
单位时间的信
道容量
Shannon极
限 -1.59dB