《通信原理,第三讲
§ 1.3 信息及其度量
信号是消息的载体，而信息是其内涵。
根据概率论知识，信息量 I 与消息出现的概率
)(xP
之间的关系应为
)(log
)(
1
log xP
xP
I
aa
==
(1.3-1)
a =2 时，信息量的单位为比特 (bit)；
ea =
时，信息量的单位为奈特 (nit)； a=10
时，信息量的单位为十进制单位，叫哈特莱。目前广泛使用的单位为比特。
例 1.3-1 设二进制离散信源，以相等的概率发送数字 0 或 1，则信源每个输出的信息含量为
)(12log
2/1
1
log)1()0(
22
bitII ====
(1.3-2)
可见，传送等概率的二进制波形之一（ P=1/2）的信息量为 1 比特。同理，
传送等概率的四进制波形之一（ P=1/4）的信息量为 2 比特。
综上所述，对于离散信源,M 个波形等概率（ P=1/M）发送，且每一个波形的出现是独立的，则传送 M 进制波形之一的信息量为
)(log
/1
1
log
1
log
222
bitM
MP
I ===
(1.3-3)
式中 P为每一个波形出现的概率,M 为传送的波形数。 若 M 是 2 的整幂次，
比如
K
M 2=
（ K=1,2,3,）则式 (1.3-3)可改写为
)(2log
2
bitKI
K
==
(1.3-4)
式中 K是二进制脉冲数目。
设离散信源是一个由 n 个符号组成的符号集，其中每个符号
)321( nix
i
，，，，L=
出现的概率为
1)()(
1
=
∑
=
n
i
ii
xPxP,且有
，则每个符号所含信息
)(log)(1log xpxpI a?==
量的统计平均值，即平均信息量为
)53.1(/()(log)(
)](log)[()](log)[()](log)[()(
2
1
2222121
=
++?+?=
∑
=
符号）bitxPxP
xPxPxPxPxPxPxH
i
n
i
i
nn
L
由于 H 同热力学中的熵形式一样，故通常又称它为信息 源的熵，其单位为
bit / 符号。显然，当信源中每个符号等概独立出现时，式 (1.3-5)即成为式 (1.3-3)，
此时信源的熵有最大值。
例 1.3-2 一离散信源由 0,1,2,3 四个符号组成，它们出现的概率分别为
8/14/14/18/3,，，
，且每个符号的出现都是独 立的。试求某消息
201020130213001203210100321010023102002010312032100120210 的信息量。
解 此消息中,0 出现 23 次,1 出现 14 次,2 出现 13 次,3 出现 7 次，共有 57 个符号，故该消息的信息量
)(1088log74log134log143/8log23
2222
bitI =+++=
每个符号的算术平均信息量为
符号）
符号数
/(89.1
57
108
bit
I
I ==
若用熵的概念来计算，由式（ 1.3-5）得
符号）（ /906.1
8
1
log
8
1
4
1
log
4
1
4
1
log
4
1
8
3
log
8
3
2222
bit
H
=
=
则该消息的信息量
可见，两种算法的结果有一定误差，但当消息很长时，用熵的概念来计算比较方便。而且随着消息序列长度的增加，两种计算误差将趋于零。
)(64.108906.157 bitI =×=
§ 1.4 主要性能指标
通信的任务是快速、准确地传递信息。因此，评价一个通信系统优劣的主要性能指标是系统的有效性和可靠性。 有效性是指在给定信道内所传输的信息内容的多少，或者说是传输的“速度”问题；而可靠性是指接收信息的准确程度，也就是传输的“质量”问题。这两个问题相互矛盾而又相对统一，通常还可以进行互换。
模拟通信系统的有效性可用 有效传输频带 来度量，可靠性用接收端最终 输出信噪比 来度量。如调频信号抗干扰能力比调幅好，但调频信号所需传输频带却宽于调幅。
数字通信系统的有效性可用 传输速率 来衡量。可靠性可用 差错率 来衡量。
一,传输速率
码元传输速率
B
R
简称传码率，又称符号速率等。它表示单位时间内传输码元的数目，单位是波特（ Baud）,记为 B。
数字信号有多进制和二进制之分，但码元速率与进制数无关，只与传输的码元长度 T 有关
)(
1
B
T
R
B
=
（ 1.4-1）
在保证信息速率不变的情况下,M 进制的码元速率
MB
R
与二进制的码元速率
2B
R
之间有以下转换关系
)(log
22
BMRR
MBB
=
信息传输速率
b
R
简称传信率，又称比特率等。它表示单位时间内传递的平均信息量或比特数，单位是比特 /秒，可记为 bit/s,或 b/s,或 bps。
码元速率和信息速率有确定的关系，即
)/( sbitHRR
Bb
=
（ 1.4-2）
式中 H 为信源中每个符号所含的平均信息量（熵） 。等概传输时，熵有最大值
M
2
log
，信息速率也达到最大，即
)/(log
2
sbitMRR
Bb
=
（ 1.4-3）
或
)(
log
2
B
M
R
R
b
B
=
（ 1.4-4）
式中 M为符号的进制数。二进制的码元速率和信息速率在数量上相等，有时简称它们为数码率。
频带利用率η 真正衡量数字通信系统传输效率应当是单位频带内的码元传输速率，即
)/( HzB
B
R
B
=η
（ 1.4-5）
为了比较不同系统的传输效率，又可定义频带利用率为
)/( Hzsbit
B
R
b
=η
（ 1.4-6）
二,差错率
衡量数字通信系统可靠性的指标是差错率，常用误码率和误信率表示。
误码率（码元差错率）
e
P
，是指发生差错的码元数在传输总码元数中所占的比例，即
传输总码元数错误码元数
=
e
P
（ 1.4-7）
误信率（信息差错率）
b
P
，是指发生差错的比特数在传输总比特数中所占的比例，即
传输总比特数错误比特数
=
b
P （ 1.4-8）
显然，在二进制中有
eb
PP =
§ 1.5 通信发展趋势
在过去三、四十年间，对数据传输需求的增长以及大规模集成电路的发展，
促进了数字通信的发展。目前数字通信在卫星通信、光纤通信、,移动通信、微波通信等领域有了新的进展。
§ 1.3 信息及其度量
信号是消息的载体，而信息是其内涵。
根据概率论知识，信息量 I 与消息出现的概率
)(xP
之间的关系应为
)(log
)(
1
log xP
xP
I
aa
==
(1.3-1)
a =2 时，信息量的单位为比特 (bit)；
ea =
时，信息量的单位为奈特 (nit)； a=10
时，信息量的单位为十进制单位，叫哈特莱。目前广泛使用的单位为比特。
例 1.3-1 设二进制离散信源，以相等的概率发送数字 0 或 1，则信源每个输出的信息含量为
)(12log
2/1
1
log)1()0(
22
bitII ====
(1.3-2)
可见，传送等概率的二进制波形之一（ P=1/2）的信息量为 1 比特。同理，
传送等概率的四进制波形之一（ P=1/4）的信息量为 2 比特。
综上所述，对于离散信源,M 个波形等概率（ P=1/M）发送，且每一个波形的出现是独立的，则传送 M 进制波形之一的信息量为
)(log
/1
1
log
1
log
222
bitM
MP
I ===
(1.3-3)
式中 P为每一个波形出现的概率,M 为传送的波形数。 若 M 是 2 的整幂次，
比如
K
M 2=
（ K=1,2,3,）则式 (1.3-3)可改写为
)(2log
2
bitKI
K
==
(1.3-4)
式中 K是二进制脉冲数目。
设离散信源是一个由 n 个符号组成的符号集，其中每个符号
)321( nix
i
，，，，L=
出现的概率为
1)()(
1
=
∑
=
n
i
ii
xPxP,且有
，则每个符号所含信息
)(log)(1log xpxpI a?==
量的统计平均值，即平均信息量为
)53.1(/()(log)(
)](log)[()](log)[()](log)[()(
2
1
2222121
=
++?+?=
∑
=
符号）bitxPxP
xPxPxPxPxPxPxH
i
n
i
i
nn
L
由于 H 同热力学中的熵形式一样，故通常又称它为信息 源的熵，其单位为
bit / 符号。显然，当信源中每个符号等概独立出现时，式 (1.3-5)即成为式 (1.3-3)，
此时信源的熵有最大值。
例 1.3-2 一离散信源由 0,1,2,3 四个符号组成，它们出现的概率分别为
8/14/14/18/3,，，
，且每个符号的出现都是独 立的。试求某消息
201020130213001203210100321010023102002010312032100120210 的信息量。
解 此消息中,0 出现 23 次,1 出现 14 次,2 出现 13 次,3 出现 7 次，共有 57 个符号，故该消息的信息量
)(1088log74log134log143/8log23
2222
bitI =+++=
每个符号的算术平均信息量为
符号）
符号数
/(89.1
57
108
bit
I
I ==
若用熵的概念来计算，由式（ 1.3-5）得
符号）（ /906.1
8
1
log
8
1
4
1
log
4
1
4
1
log
4
1
8
3
log
8
3
2222
bit
H
=
=
则该消息的信息量
可见，两种算法的结果有一定误差，但当消息很长时，用熵的概念来计算比较方便。而且随着消息序列长度的增加，两种计算误差将趋于零。
)(64.108906.157 bitI =×=
§ 1.4 主要性能指标
通信的任务是快速、准确地传递信息。因此，评价一个通信系统优劣的主要性能指标是系统的有效性和可靠性。 有效性是指在给定信道内所传输的信息内容的多少，或者说是传输的“速度”问题；而可靠性是指接收信息的准确程度，也就是传输的“质量”问题。这两个问题相互矛盾而又相对统一，通常还可以进行互换。
模拟通信系统的有效性可用 有效传输频带 来度量，可靠性用接收端最终 输出信噪比 来度量。如调频信号抗干扰能力比调幅好，但调频信号所需传输频带却宽于调幅。
数字通信系统的有效性可用 传输速率 来衡量。可靠性可用 差错率 来衡量。
一,传输速率
码元传输速率
B
R
简称传码率，又称符号速率等。它表示单位时间内传输码元的数目，单位是波特（ Baud）,记为 B。
数字信号有多进制和二进制之分，但码元速率与进制数无关，只与传输的码元长度 T 有关
)(
1
B
T
R
B
=
（ 1.4-1）
在保证信息速率不变的情况下,M 进制的码元速率
MB
R
与二进制的码元速率
2B
R
之间有以下转换关系
)(log
22
BMRR
MBB
=
信息传输速率
b
R
简称传信率，又称比特率等。它表示单位时间内传递的平均信息量或比特数，单位是比特 /秒，可记为 bit/s,或 b/s,或 bps。
码元速率和信息速率有确定的关系，即
)/( sbitHRR
Bb
=
（ 1.4-2）
式中 H 为信源中每个符号所含的平均信息量（熵） 。等概传输时，熵有最大值
M
2
log
，信息速率也达到最大，即
)/(log
2
sbitMRR
Bb
=
（ 1.4-3）
或
)(
log
2
B
M
R
R
b
B
=
（ 1.4-4）
式中 M为符号的进制数。二进制的码元速率和信息速率在数量上相等，有时简称它们为数码率。
频带利用率η 真正衡量数字通信系统传输效率应当是单位频带内的码元传输速率，即
)/( HzB
B
R
B
=η
（ 1.4-5）
为了比较不同系统的传输效率，又可定义频带利用率为
)/( Hzsbit
B
R
b
=η
（ 1.4-6）
二,差错率
衡量数字通信系统可靠性的指标是差错率，常用误码率和误信率表示。
误码率（码元差错率）
e
P
，是指发生差错的码元数在传输总码元数中所占的比例，即
传输总码元数错误码元数
=
e
P
（ 1.4-7）
误信率（信息差错率）
b
P
，是指发生差错的比特数在传输总比特数中所占的比例，即
传输总比特数错误比特数
=
b
P （ 1.4-8）
显然，在二进制中有
eb
PP =
§ 1.5 通信发展趋势
在过去三、四十年间，对数据传输需求的增长以及大规模集成电路的发展，
促进了数字通信的发展。目前数字通信在卫星通信、光纤通信、,移动通信、微波通信等领域有了新的进展。
