第一章 引论
第一章 引论
? 1.1 通信系统模型
? 1.2 信息论研究的中心问题及发展
1.1 通信系统模型
通信系统模型
信源 编码器 信道 译码器 信宿
干扰源
通信系统模型进一步细分
信源 信源 编码器 信道 编码器 调制器
信
道 干扰源
解调器 信道 译码器 信源 译码器 信宿
等效离散信道
等效离散信
源
等效信宿
信道编码器
信道译码器
各部件功能
? 信源
? 产生消息的源，消息可以是文字，语言，图像。可
以离散，可以连续。随机发生。
? 研究的主要问题是消息的统计特性和产生信息的速
率
? 编码器
? 信源编码器：对信源输出进行变换，求得有效性
? 信道编码器：对信源编码输出变换，提高抗干扰性
? 调制器：将信道编码输出变成适合信道传输的方式
各部件功能
? 信道
? 信号从发端传到手段的介质
? 干扰源
? 系统各部分引入的干扰，包括衰落，多径，码间干
扰，非线性失真，加性噪声，主要是统计特性
? 信道的中心问题是研究信道的统计特性和传信能力，
即 信道容量
各部件功能
? 译码器
? 编码器的逆变换
? 中心问题是研究各种可实现的解调和译码方法
? 信宿
? 信息的接收者
信息、消息和信号
? 信息
? 一个抽象的概念，可以定量的描述。信息、物质和
能量是构成一切系统的三大要素
? 消息
? 是信息的载体，相对具体的概念，如语言，文字，
数字，图像
? 信号
? 表示消息的物理量，电信号的幅度，频率，相位等
等
1.2 信息论研究的中心问
题和发展
Shannon信息论的基本任务
? 1948年 shannon发表了“通信的数学理论”奠
定了信息论理论基础
? 基本任务是设计有效而可靠的通信系统
? 可靠是要使信源发出的消息经过传输后，尽可能准
确地、不失真地再现在接收端
? 有效是用尽可能短的时间和尽可能少的设备来传输
一定量的消息
信息论的研究内容
? 狭义信息论（经典信息论）
? 研究信息测度，信道容量以及信源和信道编码理论
? 一般信息论
? 研究信息传输和处理问题，除经典信息论外还包括
噪声理论，信号滤波和预测，统计检测和估值理论，
调制理论，信息处理理论和保密理论
? 广义信息论
? 除上述内容外，还包括自然和社会领域有关信息的
内容，如模式识别，计算机翻译，心理学，遗传学，
神经生理学
狭义信息论体系结构
Shannon信息论
压缩理论
有失真编码 无失真编码
等长编码
定理
Shannon
1948
McMillan
1953
变长编码
定理
Shannon
1948
McMillan
1956
Huffman码 (1952),Fano码
算术码 (1976,1982)
LZ码 (1977,1978)
率失真理论
Shannon
Gallager
Berger
压缩编码
JPEG
MPEG
传输理论
信道编码定理 网络信息理论
纠错码
编码调制理论
网络最佳码
信息论发展简史
? 电磁理论和电子学理论对通信理论技术发展起
重要的促进作用
? 1820－ 1830年，法拉第发现电磁感应
? 莫尔斯 1832－ 1835建立电报系统。 1876年 Bell发
明电话
? 1864麦克斯韦预言电磁波存在,1888年赫兹验证
该理论
? 1895年马可尼发明了无线电通信
? 微波电子管导致微波通信系统，微波雷达系统
? 激光技术使通信进入光通信时代
信息论发展简史
? 1832年莫尔斯电码对 shannon编码理论的启发
? 1885年凯尔文研究了一条电缆的极限传信速率
? 1922年卡逊对调幅信号的频谱结构进行研究
? 1924年奈奎斯特证明了信号传输速率和带宽成正比
? 1928年 Hartley提出信息量定义为可能消息量的对数
? 1939年 Dudley发明声码器
? 1940维纳将随机过程和数理统计引入通信与控制系统
信息论发展简史
? 1948年 shannon信息论奠基
? 1952年 Fano证明了 Fano不等式，给出了 shannon
信道编码逆定理的证明
? 1957,Wolfowitz,1961 Fano,1968Gallager给
出信道编码定理的简介证明并描述了码率，码长和
错误概率的关系,1972年 Arimoto和 Blahut发明了
信道容量的迭代算法
? 1956McMillan证明了 Kraft不等式。 1952年 Fano码，
Huffman码。 1976 Rissanen算术编码,1977,78
Ziv和 Lempel的 LZ算法
信息论发展简史
? 1950年汉明码,1960年卷积码的概率译码，
Viterbi译码,1982年 Ungerboeck编码调制技术，
1993年 Turbo编译码技术
? 1959年,Shannon提出率失真函数和率失真信源编
码定理
? 1961年,Shannon的“双路通信信道”开拓了网络
信息论的研究，目前是非常活跃的研究领域。
第一章 引论
? 1.1 通信系统模型
? 1.2 信息论研究的中心问题及发展
1.1 通信系统模型
通信系统模型
信源 编码器 信道 译码器 信宿
干扰源
通信系统模型进一步细分
信源 信源 编码器 信道 编码器 调制器
信
道 干扰源
解调器 信道 译码器 信源 译码器 信宿
等效离散信道
等效离散信
源
等效信宿
信道编码器
信道译码器
各部件功能
? 信源
? 产生消息的源，消息可以是文字，语言，图像。可
以离散，可以连续。随机发生。
? 研究的主要问题是消息的统计特性和产生信息的速
率
? 编码器
? 信源编码器：对信源输出进行变换，求得有效性
? 信道编码器：对信源编码输出变换，提高抗干扰性
? 调制器：将信道编码输出变成适合信道传输的方式
各部件功能
? 信道
? 信号从发端传到手段的介质
? 干扰源
? 系统各部分引入的干扰，包括衰落，多径，码间干
扰，非线性失真，加性噪声，主要是统计特性
? 信道的中心问题是研究信道的统计特性和传信能力，
即 信道容量
各部件功能
? 译码器
? 编码器的逆变换
? 中心问题是研究各种可实现的解调和译码方法
? 信宿
? 信息的接收者
信息、消息和信号
? 信息
? 一个抽象的概念，可以定量的描述。信息、物质和
能量是构成一切系统的三大要素
? 消息
? 是信息的载体，相对具体的概念，如语言，文字，
数字，图像
? 信号
? 表示消息的物理量，电信号的幅度，频率，相位等
等
1.2 信息论研究的中心问
题和发展
Shannon信息论的基本任务
? 1948年 shannon发表了“通信的数学理论”奠
定了信息论理论基础
? 基本任务是设计有效而可靠的通信系统
? 可靠是要使信源发出的消息经过传输后，尽可能准
确地、不失真地再现在接收端
? 有效是用尽可能短的时间和尽可能少的设备来传输
一定量的消息
信息论的研究内容
? 狭义信息论（经典信息论）
? 研究信息测度，信道容量以及信源和信道编码理论
? 一般信息论
? 研究信息传输和处理问题，除经典信息论外还包括
噪声理论，信号滤波和预测，统计检测和估值理论，
调制理论，信息处理理论和保密理论
? 广义信息论
? 除上述内容外，还包括自然和社会领域有关信息的
内容，如模式识别，计算机翻译，心理学，遗传学，
神经生理学
狭义信息论体系结构
Shannon信息论
压缩理论
有失真编码 无失真编码
等长编码
定理
Shannon
1948
McMillan
1953
变长编码
定理
Shannon
1948
McMillan
1956
Huffman码 (1952),Fano码
算术码 (1976,1982)
LZ码 (1977,1978)
率失真理论
Shannon
Gallager
Berger
压缩编码
JPEG
MPEG
传输理论
信道编码定理 网络信息理论
纠错码
编码调制理论
网络最佳码
信息论发展简史
? 电磁理论和电子学理论对通信理论技术发展起
重要的促进作用
? 1820－ 1830年，法拉第发现电磁感应
? 莫尔斯 1832－ 1835建立电报系统。 1876年 Bell发
明电话
? 1864麦克斯韦预言电磁波存在,1888年赫兹验证
该理论
? 1895年马可尼发明了无线电通信
? 微波电子管导致微波通信系统，微波雷达系统
? 激光技术使通信进入光通信时代
信息论发展简史
? 1832年莫尔斯电码对 shannon编码理论的启发
? 1885年凯尔文研究了一条电缆的极限传信速率
? 1922年卡逊对调幅信号的频谱结构进行研究
? 1924年奈奎斯特证明了信号传输速率和带宽成正比
? 1928年 Hartley提出信息量定义为可能消息量的对数
? 1939年 Dudley发明声码器
? 1940维纳将随机过程和数理统计引入通信与控制系统
信息论发展简史
? 1948年 shannon信息论奠基
? 1952年 Fano证明了 Fano不等式，给出了 shannon
信道编码逆定理的证明
? 1957,Wolfowitz,1961 Fano,1968Gallager给
出信道编码定理的简介证明并描述了码率，码长和
错误概率的关系,1972年 Arimoto和 Blahut发明了
信道容量的迭代算法
? 1956McMillan证明了 Kraft不等式。 1952年 Fano码，
Huffman码。 1976 Rissanen算术编码,1977,78
Ziv和 Lempel的 LZ算法
信息论发展简史
? 1950年汉明码,1960年卷积码的概率译码，
Viterbi译码,1982年 Ungerboeck编码调制技术，
1993年 Turbo编译码技术
? 1959年,Shannon提出率失真函数和率失真信源编
码定理
? 1961年,Shannon的“双路通信信道”开拓了网络
信息论的研究，目前是非常活跃的研究领域。
