数字通信数字通信费泽松费泽松联系电话联系电话
,68911841-8002
办公地点：
办公地点：
IT楼楼
2017室室
E-mail,Feizesong@bit.edu.cn
2
重要内容第一章基本概念第二章数字编码与调制第三章数字信号基带传输第四章数字信号频带传输第五章差错控制编码第六章同步第七章多址接入技术
3
参考书目数字通信－基础与应用，电子工业出版社，2002
现代通信原理，清华大学出版社，1992
通信原理，国防工业出版社，1995
4
第一章基本概念数字通信信号处理随机信号信息论初步
5
数字通信信号处理通信
?克服距离上的障碍，迅速而准确地传递信息传递信息数字通信
?1844年Morse发明电报
?1876年贝尔发明电话模拟通数字通信
6
数字通信的优点相对于模拟通信而言
?抗干扰能力强
?传输差错可控
?数字信号处理技术
?便于加密
?提高通信系统功能
7
通信系统基带模型信源信源编码信道编码调制器信道噪声干扰信宿信源译码信道译码解调器高效可靠基带信道
8
通信系统的基本技术指标传输速率——（比特率，波特率）
通信系统每秒传输的比特数或码元数。
传输效率——（频带利用率）
满足通信系统的传输质量要求的，单位频带内允许的最大比特传输速率（单位：比特/秒/Hz）
可靠性的指标——（误码率，误块率）
在通信系统的传输中出错的比特（码字）个数占传输总数的比例（平均值）。
9
随机信号通信－信号和噪声通过通信系统的过程
?信息的随机性
?噪声的随机性统计学：
随机信号分析通信系统信号噪声
10
随机变量（RV）
随机变量
?随机变量X(A)表示随机事件A和某个实数之间的函数关系。
?RV的分布函数
?RV的概率密度函数（PDF）
11
随机过程（RP）
随机过程X(A,t)
?是事件A和时间t的函数随机过程的统计特性
?均值
?方差
?自相关函数
?协方差函数
12
平稳随机过程平稳随机过程
?其概率密度函数与时间起点无关
?统计特性不随时间的推移而不同
?一维分布和t无关
?二维分布只与时间间隔有关通信系统中的信号和噪声大多可视为平稳随机过程
13
平稳随机过程（续）
相关函数和功率谱密度
?自相关函数
自相关函数和平均功率
自相关函数是偶函数
自相关函数和直流功率、交流功率
?自相关函数和功率谱密度自相关函数功率谱密度傅里叶变换
14
信息论初步离散信源的统计特性
?信息量
?平均信息量
?思考题：
信息量有没有单位？
() log ()
ii
I xPx=?
1
() ()log ()
N
ii
i
H XPxPx
=
=?
∑
比特、比特率和波特率的区
15
离散信源的统计特性（续）
条件平均信息量（条件熵）
联合熵互信息量熵、条件熵、共熵和平均互信息量的关系
(/ ) ( )log( / )
ii i i
ij
H YX Pxy Pyx=?
∑∑
() ( )log( )
ii ii
ij
H XY P x y P x y=?
∑∑
(/)
(,) ( )log
()
ii
ii
ij
i
Px y
IXY Pxy
Px
=?
∑∑
() () (/)
(,) () () ( )
HXY HX HY X
IXY HX HY HXY
=+
=+?
16
连续信源的统计特性平均信息量平均互信息量平均互信息量、熵和条件熵之间的关系
?参考离散信源的
() ()log(),()HX px pxdxpx
∞
∞
=?
∫
是X的PDF
()
(,) ()log
() ()
pxy
I X Y p xy dxdy
pxpy
∞∞
∞?∞
=
∫∫
17
信道容量和香农公式信道容量
－单位时间内信道上所能传输的最大信息量
?有扰离散信道的信息传输
?有扰连续信道的信息传输信道容量的单位？
18
有扰离散信道的信息传输离散信道
－信道的输入和输出都是离散符号
?信道无干扰
?信道有干扰信道
xy
一一对应
xy
无一一对应
xy
统计相关性
19
有扰离散信道的统计特性转移概率P(y
i
/x
i
)
－发射信号为x
i
,而接收信号是y
i
的条件概率
?无记忆信道每个输出符号只取决于当前的输入符号，和其他输入符号无关
11 21 1
12 22 2
12
(/) (/) ( /)
(/) (/) ( /)
(/)
(/) (/) ( /)
M
M
ii
LL ML
Py x Py x Py x
Py x Py x Py x
Py x
Py x Py x Py x
=
null
null
nullnull nullnull
null
信道转移概率矩阵
20
无记忆对称离散信道统计特性对称信道
－信道转移概率矩阵的各行和各列分别具有相同集合的元素
?统计特性
1
(/)log(/)
M
ii ii
j
Py x Py x const
=
=
∑
1
(/) (/)log(/)
L
ii ii
i
HY X Py x Py x
=
=?
∑
对称信道的条件熵和输入符号的概率无关，而仅与信道转移概率有关！
21
有扰离散对称信道的信道容量假设通信系统每秒发射r个符号，信道的信息传输速率为：
?信道容量
?思考题：
(,) [() ( /)]R IXY r HX HXY r==?ii
max
1
[log ( / )log( / )]
M
ii ii
j
CR
M Py x y x r
=
=
=+
∑
i
给出二进制无记忆对称信道的转移概率矩阵和信道容
22
有扰连续对称信道的信道容量香农信道容量公式
?提高S/N能提高信道容量
?N 0时，信道容量C趋于无穷大
?仅增加信号频带并不能无限制增加信道容量
?信道容量一定时，带宽和信噪比可彼此互换
?思考题：
证明结论（3）
2
log (1 ) ( / )
S
CW bs
N
=+
仅仅增加信号频带并不能无限制增加信道容量？
23
课后习题第一章参考《现代通信原理》第二章的例题和习题
?熵、条件熵、联合熵、互信息量的计算和物理意义
?香农信道容量公式
,68911841-8002
办公地点：
办公地点：
IT楼楼
2017室室
E-mail,Feizesong@bit.edu.cn
2
重要内容第一章基本概念第二章数字编码与调制第三章数字信号基带传输第四章数字信号频带传输第五章差错控制编码第六章同步第七章多址接入技术
3
参考书目数字通信－基础与应用，电子工业出版社，2002
现代通信原理，清华大学出版社，1992
通信原理，国防工业出版社，1995
4
第一章基本概念数字通信信号处理随机信号信息论初步
5
数字通信信号处理通信
?克服距离上的障碍，迅速而准确地传递信息传递信息数字通信
?1844年Morse发明电报
?1876年贝尔发明电话模拟通数字通信
6
数字通信的优点相对于模拟通信而言
?抗干扰能力强
?传输差错可控
?数字信号处理技术
?便于加密
?提高通信系统功能
7
通信系统基带模型信源信源编码信道编码调制器信道噪声干扰信宿信源译码信道译码解调器高效可靠基带信道
8
通信系统的基本技术指标传输速率——（比特率，波特率）
通信系统每秒传输的比特数或码元数。
传输效率——（频带利用率）
满足通信系统的传输质量要求的，单位频带内允许的最大比特传输速率（单位：比特/秒/Hz）
可靠性的指标——（误码率，误块率）
在通信系统的传输中出错的比特（码字）个数占传输总数的比例（平均值）。
9
随机信号通信－信号和噪声通过通信系统的过程
?信息的随机性
?噪声的随机性统计学：
随机信号分析通信系统信号噪声
10
随机变量（RV）
随机变量
?随机变量X(A)表示随机事件A和某个实数之间的函数关系。
?RV的分布函数
?RV的概率密度函数（PDF）
11
随机过程（RP）
随机过程X(A,t)
?是事件A和时间t的函数随机过程的统计特性
?均值
?方差
?自相关函数
?协方差函数
12
平稳随机过程平稳随机过程
?其概率密度函数与时间起点无关
?统计特性不随时间的推移而不同
?一维分布和t无关
?二维分布只与时间间隔有关通信系统中的信号和噪声大多可视为平稳随机过程
13
平稳随机过程（续）
相关函数和功率谱密度
?自相关函数
自相关函数和平均功率
自相关函数是偶函数
自相关函数和直流功率、交流功率
?自相关函数和功率谱密度自相关函数功率谱密度傅里叶变换
14
信息论初步离散信源的统计特性
?信息量
?平均信息量
?思考题：
信息量有没有单位？
() log ()
ii
I xPx=?
1
() ()log ()
N
ii
i
H XPxPx
=
=?
∑
比特、比特率和波特率的区
15
离散信源的统计特性（续）
条件平均信息量（条件熵）
联合熵互信息量熵、条件熵、共熵和平均互信息量的关系
(/ ) ( )log( / )
ii i i
ij
H YX Pxy Pyx=?
∑∑
() ( )log( )
ii ii
ij
H XY P x y P x y=?
∑∑
(/)
(,) ( )log
()
ii
ii
ij
i
Px y
IXY Pxy
Px
=?
∑∑
() () (/)
(,) () () ( )
HXY HX HY X
IXY HX HY HXY
=+
=+?
16
连续信源的统计特性平均信息量平均互信息量平均互信息量、熵和条件熵之间的关系
?参考离散信源的
() ()log(),()HX px pxdxpx
∞
∞
=?
∫
是X的PDF
()
(,) ()log
() ()
pxy
I X Y p xy dxdy
pxpy
∞∞
∞?∞
=
∫∫
17
信道容量和香农公式信道容量
－单位时间内信道上所能传输的最大信息量
?有扰离散信道的信息传输
?有扰连续信道的信息传输信道容量的单位？
18
有扰离散信道的信息传输离散信道
－信道的输入和输出都是离散符号
?信道无干扰
?信道有干扰信道
xy
一一对应
xy
无一一对应
xy
统计相关性
19
有扰离散信道的统计特性转移概率P(y
i
/x
i
)
－发射信号为x
i
,而接收信号是y
i
的条件概率
?无记忆信道每个输出符号只取决于当前的输入符号，和其他输入符号无关
11 21 1
12 22 2
12
(/) (/) ( /)
(/) (/) ( /)
(/)
(/) (/) ( /)
M
M
ii
LL ML
Py x Py x Py x
Py x Py x Py x
Py x
Py x Py x Py x
=
null
null
nullnull nullnull
null
信道转移概率矩阵
20
无记忆对称离散信道统计特性对称信道
－信道转移概率矩阵的各行和各列分别具有相同集合的元素
?统计特性
1
(/)log(/)
M
ii ii
j
Py x Py x const
=
=
∑
1
(/) (/)log(/)
L
ii ii
i
HY X Py x Py x
=
=?
∑
对称信道的条件熵和输入符号的概率无关，而仅与信道转移概率有关！
21
有扰离散对称信道的信道容量假设通信系统每秒发射r个符号，信道的信息传输速率为：
?信道容量
?思考题：
(,) [() ( /)]R IXY r HX HXY r==?ii
max
1
[log ( / )log( / )]
M
ii ii
j
CR
M Py x y x r
=
=
=+
∑
i
给出二进制无记忆对称信道的转移概率矩阵和信道容
22
有扰连续对称信道的信道容量香农信道容量公式
?提高S/N能提高信道容量
?N 0时，信道容量C趋于无穷大
?仅增加信号频带并不能无限制增加信道容量
?信道容量一定时，带宽和信噪比可彼此互换
?思考题：
证明结论（3）
2
log (1 ) ( / )
S
CW bs
N
=+
仅仅增加信号频带并不能无限制增加信道容量？
23
课后习题第一章参考《现代通信原理》第二章的例题和习题
?熵、条件熵、联合熵、互信息量的计算和物理意义
?香农信道容量公式
