信息与编码
西北大学信息科学与技术学院 卜起荣
课程计划
1、计划学时 54，全部为讲课学时
2、每周结束交一次作业，每次交一个班
3、总成绩由两部分组成，平时成绩占 20％，考试成
绩占 80％
4、平时成绩满分 20分，少交作业一次扣一分，
无故缺课一次扣一分
5、计划讲授教材的一至七章
注意事项
1、实行严格的请假制度，请假必须有请假条且必须
加盖团总支公章或有辅导员老师签字
2、保持课堂纪律，有问题可举手示意
3、欢迎大家及时提出反馈意见，以便更好的进行互
动教学。
办公室：院办公楼 7层
课程概述
? 当今的时代是一个 信息 的时代，信息处理技
术的不断进步极大的影响了我们的生活，使
我们的生活质量得到很大提高。本课程将介
绍信息科学的 基础理论 和 基本方法,课程将
基于一个通讯系统的抽象数学模型进行展开，
课程的数学基础为概率论。整个课程可分为
基础理论 和 编码理论 两部分组成
学习方法
本课程以概率论为基础，数学推导较多，学
习时主要把注意力集中到 概念 的理解上，不过
分追求数学细节的推导。学习时一定要从始至
终注意基本概念的理解，不断加深概念的把握。
学习时注意理解各个概念的,用处”,结合其
他课程理解它的意义，而不要把它当作数学课
来学习，提倡独立思考，注重思考在学习中的
重要性。
第一章 绪论
第一节 信息的概念
第二节 信息论研究的对象、目的和内容
第三节 信息论的发展简史与现状
第一节 信息的概念
从哲学的角度上讲,信息 是构成物质世界的三大支柱之
一，其他两个是 物质 和 能量 。
可以说我们生活在信息的海洋之中，没有信息就没有世
界，当然也就没有我们人类社会。人类利用信息利用信息的
历史非常悠久，而且随着人类社会的发展而发展。到了现代，
信息的利用已经非常重要，以至于我们当今生活的社会被称
作信息社会。可见信息的重要。
但是有史以来，人们都没有对信息下过一个确切的定义。
就像对于物质和能量一样。
? 信息虽无确切定义，但是却具有两个明显的特征：广泛
性与抽象性。
? 广泛性
? 客观世界充满着信息
? 人类离不开信息
? 知识、书本是有用信息的积累
? 抽象性
? 三大要素是：物质, 能量与信息 。 三要素中物质是基础, 是
实体 。 能量是物质运动的形式, E=mc2,物质可转换成能量,
而能量又是改造客观世界的主要动力 。
? 信息, 它依附于物质和能量，但又不同于物质和能量。没
有信息就不能更好地利用物质和能量，人类利用信息和知
识改造物质，创造新物质，提高能量利用效率，发现新能
量形式。信息也是客观存在的，它是人类认识、改造客观
世界的主要动力，是人类认识客观世界的更高层次。
? 就狭义而言，在通信中对信息的表达分为三个层次：信
号、消息、信息。
? 信号, 是信息的物理表达层，是三个层次中最具体的层次。
它是一个物理量，是一个载荷信息的实体，可测量、可描述、
可显示。如电信号、光信号等。
? 消息, (或称为符号 )是信息的数学表达层，它虽不是一个物
理量，但是可以定量地加以描述，它是具体物理信号的进一
步数学抽象。
? 信息,信息是指各个事物运动的状态及状态变化的方
式。人们从来自对周围世界的观察得到的数据中获得
信息。信息是抽象的意识或知识，它是看不见、摸不
到的。人脑的思维活动产生的一种想法，当它仍储存
在脑子中的时候就是一种信息。信息是信号与消息的
更高表达层次。三个层次中，信号最具体，信息最抽
象。它们三者之间的关系是哲学上的内涵与外延的关
系。
信息的主要特征
? 信息来源于物质，又不是物质本身；它从物质的运动
中产生出来，又可以脱离源物质而相对独立地存在；
? 信息来源于精神世界，但又不局限于精神领域；
? 信息与能量息息相关，但又与能量有本质的区别；
? 信息具有知识的本性，但又比知识的内涵更广泛；
? 信息可以被主体获取和利用。
信息论基础的重要性
? 信息论是信息科学和技术的基本理论,信息科学
大厦的地基 ;
? 没有信息论的基础，从事通信与信息领域的研
究和创新是不可能的事情 ;
? 总之,信息论是高层次信息技术人才必不可少的
基础知识。
信源 编码器 信道 译码器 信宿
噪声源
信息论研究的对象、目的和内容
通信系统模型
信息论研究的对象、目的和内容
? 信源：消息的来源
? 编码器：把消息变换成信号
? 信道：传递信号的媒介
? 译码器：把信道输出的信号反变换
? 信宿：信息的接受端
? 噪声：信道中的干扰
信息论所要解决的问题
? 可靠性
? 有效性
? 保密性
? 认证性
信息论的理解
? 狭义信息论（香农信息论）
信息的测度、信道容量、信源和信道
编码理论
? 一般信息论
噪声、滤波与预测、估计、保密等
? 广义信息论
所有与信息相关的邻域
信息论的发展历史
? 1924年, Nyquist提出信息传输理论；
? 1928年, Hartly提出信息量关系；
? 1932年, Morse发明电报编码；
? 1946年, 柯切尼柯夫提出信号检测理论；
? 1948年,Shannon提出信息论,,通信
中的数学理论
1.3
? 1948年, 香农在, 通信的数学理论,
的论文中, 用概率测度和数理统计的方法系统
地讨论了通信的基本问题, 得出了几个重要而
带有普遍意义的结论 。 香农理论的核心是,在
通信系统中采用适当的编码后能够实现 高效率
和 高可靠性 的信息传输, 并得出了 信源编码 定
理和 信道编码 定理 。
? 从数学观点看, 这些定理是最优编码的
存在定理 。 但从工程观点看, 这些定理不是结
构性的, 不能从定理的结果直接得出实现最优
编码的具体途径 。 然而, 它们给出了编码的性
能极限, 在理论上阐明了通信系统中各种因素
的相互关系, 为人们寻找最佳通信系统提供了
重要的理论依据 。
? 对于确定概率分布的新源编码
1948年, 香农在论文中提出并给出了简
单的编码方法 (香农编码 ),1952年,费诺 (Fano)
提 出 了 一 种 费 诺 码, 同 年 霍 夫 曼
(D,A,Huffman)构造了一种霍夫曼编码方法,
并证明了它是最佳码 。
? 算术码就是一种非块码, 它是从整个序列的
概率的匹配来进行编码的 。 其实此概念也是香
农首先提出的, 后经许多学者改进, 已进入实
用阶段 。 1968年前后, 埃利斯 (P,Elias)发展
了香农 ―费诺码, 提出了算术编码的初步思路 。
而里斯桑内 (J,Rissanen)在 1976年给出和发展
了 算 术 编 码, 1982 年 他 和 兰 登
(G,G,Langdon)一起将算术编码系统化, 并
省去了乘法运算, 使其更为简化, 易于实现 。
? 在研究信源编码的同时, 另外一部分科
学家从事信道编码 (纠错码 )的研究工作 。 这
一工作已取得了很大的进展, 并已经形成一
门独立的分支 ——纠错码理论 。 1950年汉明
(R,W,Hamming)发表的论文, 检错码与纠
错码, 是开拓编码理论研究的第一篇论文 。
这篇论文主要考虑在大型计算机中如何纠正
所出现的单个错误 。
? 密码编码学是信息安全技术的核心, 密码编码学的主要
任务是寻求产生安全性高的有效密码算法和协议, 以满
足对消息进行加密或认证的要求 。
? 密码分析学的主要任务是破译密码或伪造认证信息, 实
现窃取机密信息或进行诈骗破坏活动 。
? 这两个分支既相互对立又相互依存, 正是由于这种对立
统一关系, 才推动了密码学自身的发展 。
? 香农在 1949年发表的, 保密通信的信息理论, 论文中,
首先用信息论的观点对信息保密问题作了全面的论述 。
? 由于保密问题的特殊性, 直至 1976
年迪弗 (Diffe)和海尔曼 (Hellman)发表了, 密码
学的新方向, 一文, 提出了公开密钥密码体制
后, 保密通信问题才得到广泛研究 。
? 尤其当今, 信息的安全和保密问题更加突出和
重要 。 人们把线性代数, 初等数论, 矩阵等引
入保密问题的研究, 已形成了独树一帜的分
支 ——密码学理论 。
1.4 信息论研究的内容和目的
? 研究通信系统的目的就是要找到信息传
输过程的共同规律, 以提高信息传输的可靠性,
有效性, 保密性和认证性, 以达到信息传输系
统最优化 。 所谓可靠性高, 就是要使信源发出
的消息经过信道传输以后, 尽可能准确地, 不
失真地再现在接收端 。 而所谓有效性高, 就是
经济效果好, 即用尽可能短的时间和尽可能少
的设备来传送一定数量的信息 。
? 以后会看到, 提高可靠性和提高有效性常常会发生矛
盾, 这就需要统筹兼顾 。
? 所谓保密性就是隐蔽和保护通信系统中传送的消息,
使它只能被授权接收者获取, 而不能被未授权者接收
和理解 。
? 所谓认证性是指接收者能正确判断所接收的消息的正
确性和完整性, 而不是伪造的和被篡改的 。
西北大学信息科学与技术学院 卜起荣
课程计划
1、计划学时 54，全部为讲课学时
2、每周结束交一次作业，每次交一个班
3、总成绩由两部分组成，平时成绩占 20％，考试成
绩占 80％
4、平时成绩满分 20分，少交作业一次扣一分，
无故缺课一次扣一分
5、计划讲授教材的一至七章
注意事项
1、实行严格的请假制度，请假必须有请假条且必须
加盖团总支公章或有辅导员老师签字
2、保持课堂纪律，有问题可举手示意
3、欢迎大家及时提出反馈意见，以便更好的进行互
动教学。
办公室：院办公楼 7层
课程概述
? 当今的时代是一个 信息 的时代，信息处理技
术的不断进步极大的影响了我们的生活，使
我们的生活质量得到很大提高。本课程将介
绍信息科学的 基础理论 和 基本方法,课程将
基于一个通讯系统的抽象数学模型进行展开，
课程的数学基础为概率论。整个课程可分为
基础理论 和 编码理论 两部分组成
学习方法
本课程以概率论为基础，数学推导较多，学
习时主要把注意力集中到 概念 的理解上，不过
分追求数学细节的推导。学习时一定要从始至
终注意基本概念的理解，不断加深概念的把握。
学习时注意理解各个概念的,用处”,结合其
他课程理解它的意义，而不要把它当作数学课
来学习，提倡独立思考，注重思考在学习中的
重要性。
第一章 绪论
第一节 信息的概念
第二节 信息论研究的对象、目的和内容
第三节 信息论的发展简史与现状
第一节 信息的概念
从哲学的角度上讲,信息 是构成物质世界的三大支柱之
一，其他两个是 物质 和 能量 。
可以说我们生活在信息的海洋之中，没有信息就没有世
界，当然也就没有我们人类社会。人类利用信息利用信息的
历史非常悠久，而且随着人类社会的发展而发展。到了现代，
信息的利用已经非常重要，以至于我们当今生活的社会被称
作信息社会。可见信息的重要。
但是有史以来，人们都没有对信息下过一个确切的定义。
就像对于物质和能量一样。
? 信息虽无确切定义，但是却具有两个明显的特征：广泛
性与抽象性。
? 广泛性
? 客观世界充满着信息
? 人类离不开信息
? 知识、书本是有用信息的积累
? 抽象性
? 三大要素是：物质, 能量与信息 。 三要素中物质是基础, 是
实体 。 能量是物质运动的形式, E=mc2,物质可转换成能量,
而能量又是改造客观世界的主要动力 。
? 信息, 它依附于物质和能量，但又不同于物质和能量。没
有信息就不能更好地利用物质和能量，人类利用信息和知
识改造物质，创造新物质，提高能量利用效率，发现新能
量形式。信息也是客观存在的，它是人类认识、改造客观
世界的主要动力，是人类认识客观世界的更高层次。
? 就狭义而言，在通信中对信息的表达分为三个层次：信
号、消息、信息。
? 信号, 是信息的物理表达层，是三个层次中最具体的层次。
它是一个物理量，是一个载荷信息的实体，可测量、可描述、
可显示。如电信号、光信号等。
? 消息, (或称为符号 )是信息的数学表达层，它虽不是一个物
理量，但是可以定量地加以描述，它是具体物理信号的进一
步数学抽象。
? 信息,信息是指各个事物运动的状态及状态变化的方
式。人们从来自对周围世界的观察得到的数据中获得
信息。信息是抽象的意识或知识，它是看不见、摸不
到的。人脑的思维活动产生的一种想法，当它仍储存
在脑子中的时候就是一种信息。信息是信号与消息的
更高表达层次。三个层次中，信号最具体，信息最抽
象。它们三者之间的关系是哲学上的内涵与外延的关
系。
信息的主要特征
? 信息来源于物质，又不是物质本身；它从物质的运动
中产生出来，又可以脱离源物质而相对独立地存在；
? 信息来源于精神世界，但又不局限于精神领域；
? 信息与能量息息相关，但又与能量有本质的区别；
? 信息具有知识的本性，但又比知识的内涵更广泛；
? 信息可以被主体获取和利用。
信息论基础的重要性
? 信息论是信息科学和技术的基本理论,信息科学
大厦的地基 ;
? 没有信息论的基础，从事通信与信息领域的研
究和创新是不可能的事情 ;
? 总之,信息论是高层次信息技术人才必不可少的
基础知识。
信源 编码器 信道 译码器 信宿
噪声源
信息论研究的对象、目的和内容
通信系统模型
信息论研究的对象、目的和内容
? 信源：消息的来源
? 编码器：把消息变换成信号
? 信道：传递信号的媒介
? 译码器：把信道输出的信号反变换
? 信宿：信息的接受端
? 噪声：信道中的干扰
信息论所要解决的问题
? 可靠性
? 有效性
? 保密性
? 认证性
信息论的理解
? 狭义信息论（香农信息论）
信息的测度、信道容量、信源和信道
编码理论
? 一般信息论
噪声、滤波与预测、估计、保密等
? 广义信息论
所有与信息相关的邻域
信息论的发展历史
? 1924年, Nyquist提出信息传输理论；
? 1928年, Hartly提出信息量关系；
? 1932年, Morse发明电报编码；
? 1946年, 柯切尼柯夫提出信号检测理论；
? 1948年,Shannon提出信息论,,通信
中的数学理论
1.3
? 1948年, 香农在, 通信的数学理论,
的论文中, 用概率测度和数理统计的方法系统
地讨论了通信的基本问题, 得出了几个重要而
带有普遍意义的结论 。 香农理论的核心是,在
通信系统中采用适当的编码后能够实现 高效率
和 高可靠性 的信息传输, 并得出了 信源编码 定
理和 信道编码 定理 。
? 从数学观点看, 这些定理是最优编码的
存在定理 。 但从工程观点看, 这些定理不是结
构性的, 不能从定理的结果直接得出实现最优
编码的具体途径 。 然而, 它们给出了编码的性
能极限, 在理论上阐明了通信系统中各种因素
的相互关系, 为人们寻找最佳通信系统提供了
重要的理论依据 。
? 对于确定概率分布的新源编码
1948年, 香农在论文中提出并给出了简
单的编码方法 (香农编码 ),1952年,费诺 (Fano)
提 出 了 一 种 费 诺 码, 同 年 霍 夫 曼
(D,A,Huffman)构造了一种霍夫曼编码方法,
并证明了它是最佳码 。
? 算术码就是一种非块码, 它是从整个序列的
概率的匹配来进行编码的 。 其实此概念也是香
农首先提出的, 后经许多学者改进, 已进入实
用阶段 。 1968年前后, 埃利斯 (P,Elias)发展
了香农 ―费诺码, 提出了算术编码的初步思路 。
而里斯桑内 (J,Rissanen)在 1976年给出和发展
了 算 术 编 码, 1982 年 他 和 兰 登
(G,G,Langdon)一起将算术编码系统化, 并
省去了乘法运算, 使其更为简化, 易于实现 。
? 在研究信源编码的同时, 另外一部分科
学家从事信道编码 (纠错码 )的研究工作 。 这
一工作已取得了很大的进展, 并已经形成一
门独立的分支 ——纠错码理论 。 1950年汉明
(R,W,Hamming)发表的论文, 检错码与纠
错码, 是开拓编码理论研究的第一篇论文 。
这篇论文主要考虑在大型计算机中如何纠正
所出现的单个错误 。
? 密码编码学是信息安全技术的核心, 密码编码学的主要
任务是寻求产生安全性高的有效密码算法和协议, 以满
足对消息进行加密或认证的要求 。
? 密码分析学的主要任务是破译密码或伪造认证信息, 实
现窃取机密信息或进行诈骗破坏活动 。
? 这两个分支既相互对立又相互依存, 正是由于这种对立
统一关系, 才推动了密码学自身的发展 。
? 香农在 1949年发表的, 保密通信的信息理论, 论文中,
首先用信息论的观点对信息保密问题作了全面的论述 。
? 由于保密问题的特殊性, 直至 1976
年迪弗 (Diffe)和海尔曼 (Hellman)发表了, 密码
学的新方向, 一文, 提出了公开密钥密码体制
后, 保密通信问题才得到广泛研究 。
? 尤其当今, 信息的安全和保密问题更加突出和
重要 。 人们把线性代数, 初等数论, 矩阵等引
入保密问题的研究, 已形成了独树一帜的分
支 ——密码学理论 。
1.4 信息论研究的内容和目的
? 研究通信系统的目的就是要找到信息传
输过程的共同规律, 以提高信息传输的可靠性,
有效性, 保密性和认证性, 以达到信息传输系
统最优化 。 所谓可靠性高, 就是要使信源发出
的消息经过信道传输以后, 尽可能准确地, 不
失真地再现在接收端 。 而所谓有效性高, 就是
经济效果好, 即用尽可能短的时间和尽可能少
的设备来传送一定数量的信息 。
? 以后会看到, 提高可靠性和提高有效性常常会发生矛
盾, 这就需要统筹兼顾 。
? 所谓保密性就是隐蔽和保护通信系统中传送的消息,
使它只能被授权接收者获取, 而不能被未授权者接收
和理解 。
? 所谓认证性是指接收者能正确判断所接收的消息的正
确性和完整性, 而不是伪造的和被篡改的 。
