请给出数字通信与模
拟通信相比较的优点？
信息及其度量
通信的任务?
传递信息
衡量的标准?
有效性：给定信道内传输的信息内容多少
可靠性：接受信息的准确度
不同的系统衡量的具体指标是不一样的
一、模拟通信系统
1．有效性,
用传输频带宽度
2．可靠性,
收端最终的输出信噪比（信号噪声功率比）
如电话,20-40dB，电视 40dB
不同调制方式频带和信噪比对比,
Bw调频 >Bw调幅； S/N调频 >S/N调幅
二、数字通信系统
? 1,有效性,
用信息传输速率衡量
信息速率（传信率）单位,b/s（ bps：比特 /秒，二进制）
?（ 1）多进制传输速率
多进制每个码元信息量超过 1bit
设：码元速率为 Rs、信息速率为 Rb，码元有 N种可能采用的符号
则,
)(
lo g
)/(lo g
2
2
，波特率b a u d
N
RR
sbNRR
b
s
sb
?
?
例如：四进制，每个码元 2bits信息
当 1200baud时，信息速率为 2400b/s
?（ 2） 单位比较
bps,baud,Bps
56Kbps=56× 1000（或 1024） /8/1024=6.8KBps
二、数字通信系统
?可靠性：错误率（需要使用统计和概率）
传输总的比特数
错误比特数?
bP
误比特率（误信率）
传输总的码元数
错误码元数?
sP误码元率（误符号率）
三、信息论基础
? 1,信息的含义
消息中包含的有意义的内容
例如：, 今年冬天比去年冷,,, 今年冬天和去年夏天一样热,
后句信息量 >前句
越不可能, 信息量越大 。
用概率来描述, 概率越小信息量越大； P=0时信息量为无穷
2.离散信息信息量规律
?（ 1）信息量的特点规律
（ a）信息量 I与出现概率 P（ x）相关
（ b） P（ x）越大,I越小
（ c） 若干独立事件的信息量
)(
1lo g
xPI a? ??
?
?
?
?
?
?
，单位为哈特莱
，单位为奈特
，单位为比特
10
2
a
n itea
b ita综合
?（ 2）应用和讨论
（ a） 传 M个离散消息之一, 各消息等概出现
—— 可看作 M进制波形之一
传一个消息的概率为 1/M
所以,
MMI aa l o g
1l o g ??
MI 2lo g?取 a=2时,(bit)
（ b）若 M为 2的整数次幂（ 2,4,8,16进制）
KM 2?
则,（ bit） KI K ?? 2l o g
2
其中,K为传 M进制波形用二进制所需的数目
如 8个量要 3个二进制位
（ c）熵和平均信息量
—— 离散系统的平均信息量
设一组符号其概率为,
X1:P(X1);X2:P(X2)……Xn:P(Xn),且 1)( ?? xiP
平均信息量,
?
?
?
?
?
?
?
??
????
?
?
?
?
)(lo g)(
)(.,,)2()1()(
2
21
ii
nn
xPxP
IxPIxPIxPxH
I
I
熵（统计平均）
符号数
算术平均（有误差）
例题
例 1,
已知二元离散信源只有, 0”,,1”两种符号,,0”出
现
的概率为 1/3，求, 1”出现的概率。
解,P（, 1”） =1-1/3=2/3
∴ I（ 1） = )(585.0
2
3l o g
3
2
1l o g
22 b it??
例 2,已知信息源由 4个符号 0,1,2,3组成, 它们出现的
概率分别为 3/8,1/4,1/4,1/8,且每个符号的出现都是
独立的 。 试求消息
20102013021300120321010032101002310200201031203210
0120210的信息量和平均信息量 。
解,
符号出现次数 0,23次； 1,14次； 2,13次； 3,7次；共 57个符号
b i tIb i tI
b i tIb i tI
21
8/1
1l o g3)1(26
4/1
1l o g13)2(
28
4/1
1l o g14)1(33
8/3
1l o g23)0(
22
22
??????
??????；
所以，该消息的信息量为 I=I(0)+I(1)+I(2)+I(3)=33+28+26+21=108bit
平均信息量,
符号符号数 /89.157108 b itII ????
? ?????? 符号/906.1)3(81)2(41)1(41)0(83)( b i tIIIII x ixiPH
平均信息量计算 总结
1） 平均信息量的差别在于处理方法的不同, 算术平
均有一定误差, 但符号的增加可使得误差减小 。
2）总希望熵越大越好（信息量大，有效性高），在等
概时熵最大，为,n为符号数
3．连续信源的信息度量
?（ 1） 相对熵
??? )(l o g)()( 2 ii xPxPxH ? ????? dxxPxPxH )(l o g)()( 2
?（ 2）绝对熵
设概率密度函数为 P(x)
在一小段范围内的概率为 iiiii xxPxxxxP ?????? )()(
把积分区间分为 2N段 ])(lo g [)()(
i
N
Ni
iii xxPxxPxH ???? ?
??
P(x)
P ( X i ) △X i
?
?
? ?
?
?
?
??
?
??
?
??
?
??
?
??
??
??
??
???
???
???
??
????
dx
dxxPxP
dxdxxPxP
dxxPdxdxxPxP
dxxPdxxP
xxPxxPxH
i
N
Ni
iii
N
x
1
l o g)(l o g)(
l o g)(l o g)(
)(l o g)(l o g)(
]})({ l o g [)(
]})(l o g [)({)(
l i m
0
，
，
dx
1log注意,
例题
例：连续消息源，输出信号在（ -1,1）取值范围内具有
均匀的概率密度函数。求其平均信息量，若输出信号放大
2倍，求平均信息量。
（ 1）当（ -1,1）时 P(x)=1/2,P(x)=1/(b-a)均匀分布
-1 1
1/2
??
?
?
??
???????
1
1
12l o g21l o g21)(l o g)()( b i tdxdxxPxPxH
（ 2）当（ -2,2）时 P(x)=1/4,P(x)=1/(b-a)均匀分布
??
?
?
??
???????
2
2
24l o g41l o g41)(l o g)()( b i tdxdxxPxPxH
拟通信相比较的优点？
信息及其度量
通信的任务?
传递信息
衡量的标准?
有效性：给定信道内传输的信息内容多少
可靠性：接受信息的准确度
不同的系统衡量的具体指标是不一样的
一、模拟通信系统
1．有效性,
用传输频带宽度
2．可靠性,
收端最终的输出信噪比（信号噪声功率比）
如电话,20-40dB，电视 40dB
不同调制方式频带和信噪比对比,
Bw调频 >Bw调幅； S/N调频 >S/N调幅
二、数字通信系统
? 1,有效性,
用信息传输速率衡量
信息速率（传信率）单位,b/s（ bps：比特 /秒，二进制）
?（ 1）多进制传输速率
多进制每个码元信息量超过 1bit
设：码元速率为 Rs、信息速率为 Rb，码元有 N种可能采用的符号
则,
)(
lo g
)/(lo g
2
2
，波特率b a u d
N
RR
sbNRR
b
s
sb
?
?
例如：四进制，每个码元 2bits信息
当 1200baud时，信息速率为 2400b/s
?（ 2） 单位比较
bps,baud,Bps
56Kbps=56× 1000（或 1024） /8/1024=6.8KBps
二、数字通信系统
?可靠性：错误率（需要使用统计和概率）
传输总的比特数
错误比特数?
bP
误比特率（误信率）
传输总的码元数
错误码元数?
sP误码元率（误符号率）
三、信息论基础
? 1,信息的含义
消息中包含的有意义的内容
例如：, 今年冬天比去年冷,,, 今年冬天和去年夏天一样热,
后句信息量 >前句
越不可能, 信息量越大 。
用概率来描述, 概率越小信息量越大； P=0时信息量为无穷
2.离散信息信息量规律
?（ 1）信息量的特点规律
（ a）信息量 I与出现概率 P（ x）相关
（ b） P（ x）越大,I越小
（ c） 若干独立事件的信息量
)(
1lo g
xPI a? ??
?
?
?
?
?
?
，单位为哈特莱
，单位为奈特
，单位为比特
10
2
a
n itea
b ita综合
?（ 2）应用和讨论
（ a） 传 M个离散消息之一, 各消息等概出现
—— 可看作 M进制波形之一
传一个消息的概率为 1/M
所以,
MMI aa l o g
1l o g ??
MI 2lo g?取 a=2时,(bit)
（ b）若 M为 2的整数次幂（ 2,4,8,16进制）
KM 2?
则,（ bit） KI K ?? 2l o g
2
其中,K为传 M进制波形用二进制所需的数目
如 8个量要 3个二进制位
（ c）熵和平均信息量
—— 离散系统的平均信息量
设一组符号其概率为,
X1:P(X1);X2:P(X2)……Xn:P(Xn),且 1)( ?? xiP
平均信息量,
?
?
?
?
?
?
?
??
????
?
?
?
?
)(lo g)(
)(.,,)2()1()(
2
21
ii
nn
xPxP
IxPIxPIxPxH
I
I
熵（统计平均）
符号数
算术平均（有误差）
例题
例 1,
已知二元离散信源只有, 0”,,1”两种符号,,0”出
现
的概率为 1/3，求, 1”出现的概率。
解,P（, 1”） =1-1/3=2/3
∴ I（ 1） = )(585.0
2
3l o g
3
2
1l o g
22 b it??
例 2,已知信息源由 4个符号 0,1,2,3组成, 它们出现的
概率分别为 3/8,1/4,1/4,1/8,且每个符号的出现都是
独立的 。 试求消息
20102013021300120321010032101002310200201031203210
0120210的信息量和平均信息量 。
解,
符号出现次数 0,23次； 1,14次； 2,13次； 3,7次；共 57个符号
b i tIb i tI
b i tIb i tI
21
8/1
1l o g3)1(26
4/1
1l o g13)2(
28
4/1
1l o g14)1(33
8/3
1l o g23)0(
22
22
??????
??????；
所以，该消息的信息量为 I=I(0)+I(1)+I(2)+I(3)=33+28+26+21=108bit
平均信息量,
符号符号数 /89.157108 b itII ????
? ?????? 符号/906.1)3(81)2(41)1(41)0(83)( b i tIIIII x ixiPH
平均信息量计算 总结
1） 平均信息量的差别在于处理方法的不同, 算术平
均有一定误差, 但符号的增加可使得误差减小 。
2）总希望熵越大越好（信息量大，有效性高），在等
概时熵最大，为,n为符号数
3．连续信源的信息度量
?（ 1） 相对熵
??? )(l o g)()( 2 ii xPxPxH ? ????? dxxPxPxH )(l o g)()( 2
?（ 2）绝对熵
设概率密度函数为 P(x)
在一小段范围内的概率为 iiiii xxPxxxxP ?????? )()(
把积分区间分为 2N段 ])(lo g [)()(
i
N
Ni
iii xxPxxPxH ???? ?
??
P(x)
P ( X i ) △X i
?
?
? ?
?
?
?
??
?
??
?
??
?
??
?
??
??
??
??
???
???
???
??
????
dx
dxxPxP
dxdxxPxP
dxxPdxdxxPxP
dxxPdxxP
xxPxxPxH
i
N
Ni
iii
N
x
1
l o g)(l o g)(
l o g)(l o g)(
)(l o g)(l o g)(
]})({ l o g [)(
]})(l o g [)({)(
l i m
0
，
，
dx
1log注意,
例题
例：连续消息源，输出信号在（ -1,1）取值范围内具有
均匀的概率密度函数。求其平均信息量，若输出信号放大
2倍，求平均信息量。
（ 1）当（ -1,1）时 P(x)=1/2,P(x)=1/(b-a)均匀分布
-1 1
1/2
??
?
?
??
???????
1
1
12l o g21l o g21)(l o g)()( b i tdxdxxPxPxH
（ 2）当（ -2,2）时 P(x)=1/4,P(x)=1/(b-a)均匀分布
??
?
?
??
???????
2
2
24l o g41l o g41)(l o g)()( b i tdxdxxPxPxH
