第五章 信道编码定理
? 1.离散信道编码问题
? 2.信道译码
? 3.Fano不等式和信道编码逆定理
1.离散信道编码问题
纠错编码器
? 送给纠错编码器的消息是经过最佳信源编码后，信息
速率为比特 /秒的离散二元或 q元数字序列。
? 分组码
每 K个信息数字为一组，计算出 N个编码数字，称这些
数字为一个码字。通常 N为整数。
? 卷积码
? 输出的 n0长码段不仅依赖于当前的 k0位信息数字，还
依赖于前 m个信息段的信息数字，即总共与（ m＋ 1）
k0个信息数字有关。
Kk ?0
纠错编码器
? R＝ K/N，码率
? 误组率
? 误比特率
?
?
?
?
L
l
elb
mm
p
L
p
xxp
1
'
1
)(
2.信道译码问题
译码错误概率
)|'(1)|'()( ymmpymmPyp NNe ?????
译码准则
? 最小错误概率译码：是
pe(y)最小
? 最大后验概率译码：选
最大
)|()|'( ympymp rr ?
最大似然译码
)|()'|(
)(
)|()(
)|(
mypmyp
yp
mypmQ
ymp
?
?
所有 Q(m)相同
最大对数似然译码
)|(ln)'|(ln mypmyp ?
最小汉明距离译码
? 汉明距离 d(x,y),x,y中
分量不同的数目
? 码字先验等概
? K元对称信道
)1/()|(
1)|(
??
??
Kpijp
piip
最小汉明距离译码
]/)1)(1l n [ (),()1l n (
)1l n ()),((
1
ln),(
)|(ln)|(ln
1
pKpxydpN
pxydN
K
p
xyd
xypxyp
m
mm
N
n
miim
?????
???
?
?
? ?
?
判决区域
? Ym:lnp(y|xm)>lnp(y|xm’)
? 给定 m,错误概率
?
?
?
?
?
?
M
m
eme
Yy
mem
pmQp
xypp
C
m
1
)(
)|(
高斯信道
???
?
???
?
????
?
??
N
n
nmnmn
N
n
N
n
mnnm
N
n
mnn
m
yxxxyxy
xy
xyp
1
2
11
2
1
2
2
2m in)(m in)|ln (m a x
}
2
)(
e x p {
2
1
)|(m a x
???
Fano不等式和信道编码
逆定理
Fano不等式
C
L
N
UH
YXI
L
UH
VUIUH
L
VUH
L
pHMp
VUHpHMp
L
NN
L
LLL
LL
bb
bb
??
??
??
???
???
)(
);(
1
)(
)];()([
1
)|(
1
)()1l o g (
)|()()1l o g (
信道编码逆定理
? 离散平稳源有 M个字母熵为 HL(U),信道容量为
C,当 HL(U)>(N/L)C时,误码率为非零值
信道编码定理
? R<C时,R是可达的，即对信息速率 R,任意给
定的 e>0，存在编译码方法，当 N足够大,p<e