编码理论
Coding Theory
吉首大学物理信息学院
向晓燕 制作
教学安排
? 总学时 36学时,理论教学 34学时,习题 2学时
? 第 1章 绪论 (2学时 )
? 第 2章 无失真信源编码 (10学时 )
? 第 3章 相关信源编码 (2)
? 第 4章 限失真信源编码 (4)
? 第 5章 信道编码 (4)
? 第 6章 通信系统的保密 (6)
? 第 7章 纠错码与通信系统的保密 (4)
? 第 8章 现代编码技术 (2)
第一章 绪论
? 信息论相关知识和概念
? 编码理论
信息论相关知识介绍
? 信息的产生和传播
? 信息的定义与分类
? 信息的特性及性质
? 狭义信息论：指香农信息理论，主要研究信息的
测度，信道容量，信道信源编码等问题，也称经
典信息论。是基础理论
? 一般信息论：泛指通信理论，通信的数学理论，
广泛研究信息传输和处理的问题。
? 广义信息论：包含上述两种理解，还包括所有与
信息有关的自然、社会领域。
? 香农信息理论，是为设计有效可靠的通信系统提
供理论依据。
对信息论的理解
信息的产生和传播
? 信息是人类生产实践中互通情报中产生的
? 信息发展的五次变革，极大的推动了社会的进步
? 信息科学技术知识成为最重要的战略资源，人们
现在关注于信息科学技术知识的开发和利用，人
类社会的发展与信息传播速度密切相关
? 信息科学、信息技术、信息产业
信息的定义与分类
? 1948年，维纳提出：信息就是信息，它既不是物
质也不是能量
? 一般普遍对信息的理解是，信息 =消息 =情报 =知
识 =信号？
信息不等同于情报
信息不等同于知识
信息与消息,消息是信息的载荷者，需要指出的是：一个消
息可以含有不同的信息量，同一信息也可以用不同的消息
来载荷。数据、图片可能发布的是同一信息
信息不等同于信号,信号是消息的一种表现形式，又是消息
的载体，它是一种物理量 。信号携带着信息，但不是信
息本身，同一信息可以用不同信号表示，同一信号也可以
表示不同信息。
信息的定义与分类
信息的定义与分类
? 信息是构成客观世界的三大要素之一
? 信息的定义：信息是事物运动状态或存在方式的不确定性
的描述
? 信息的分类：
语法信息：事物的状态和状态改变方式本身。研究事物运
动出现的各种可能状态和这些状态之间的联系。是抽象的。
语义信息：研究信息的主体含义。
语用信息：研究信息客观价值。
?人们对客观世界运动规律和存在状态的认识结果。
信息
传递 信息处理 — 再生
信息
传递
信息
获取
信息
施用
外部世界
问题／环境
信息运动过程
信息的特性及性质
信息的特性：
? 信息是无形的（无形性）
? 信息是可共享的（共享性）共享性的矛盾（竞争），加密
信息阻碍信息的传播和发展。
? 信息是扩充的，信息永远在产生、更新、演变（无限性）
? 信息是可以度量的：必须满足信息的三个条件 —— 结构的
（离散结构）、统计的（用统计方式、发生概率来测量不
确定性）、语义的（有具体含义）
信息的特性及性质
? 信息的性质：
? 普遍性
? 无限性
? 性对性
? 转移性
? 变换性
? 有序性
? 动态性
? 转化性
编码理论
? 编码理论的基本概念
? 编码理论的发展
? 编码理论研究的内容和目的
编码理论的基本概念
? 所谓编码，广义地说就是信号的变换，是
信息处理的主要手段。编码的主要目的是
提高系统对某一方面的要求以及优化系统
某一方面的性能指标
? 根据信息论的各种编码定理和通信系统的
性能指标，编码可分为信源编码、信道编
码和密码编码三类
通信系统模型
编码理论的基本概念
信源
加密密钥
干扰
信道 信宿
信源 信源编码 加密
信道
信道编码
信道解码解密信源解码信宿
解密密钥
通信系统模型的组成部分和功能说明
? 主要实体：信源和信宿
? 信道及干扰源
? 编码器
? 译码部分 —— 编码部分的逆过程
编码理论的发展
? 信源编码
1、无失真信源编码：对信源进行编码，没有
带来信息量的损失。（适用于离散信源
或数字信号）
2、限失真信源编码：在一定准则下，对信
号源进行编码。（适用于连续信源或模
拟信号）
? 信道编码
编码理论研究的内容和目的
编码理论是以信息作为主要研究对象，以
信息的运动规律和利用信息的原理作为主
要的研究内容，以信息科学方法论作为主
要的研究方法，以扩大人的信息功能为主
要研究目的的一门新兴科学。它的基本理
论是信息论，控制论和系统论。
Coding Theory
吉首大学物理信息学院
向晓燕 制作
教学安排
? 总学时 36学时,理论教学 34学时,习题 2学时
? 第 1章 绪论 (2学时 )
? 第 2章 无失真信源编码 (10学时 )
? 第 3章 相关信源编码 (2)
? 第 4章 限失真信源编码 (4)
? 第 5章 信道编码 (4)
? 第 6章 通信系统的保密 (6)
? 第 7章 纠错码与通信系统的保密 (4)
? 第 8章 现代编码技术 (2)
第一章 绪论
? 信息论相关知识和概念
? 编码理论
信息论相关知识介绍
? 信息的产生和传播
? 信息的定义与分类
? 信息的特性及性质
? 狭义信息论：指香农信息理论，主要研究信息的
测度，信道容量，信道信源编码等问题，也称经
典信息论。是基础理论
? 一般信息论：泛指通信理论，通信的数学理论，
广泛研究信息传输和处理的问题。
? 广义信息论：包含上述两种理解，还包括所有与
信息有关的自然、社会领域。
? 香农信息理论，是为设计有效可靠的通信系统提
供理论依据。
对信息论的理解
信息的产生和传播
? 信息是人类生产实践中互通情报中产生的
? 信息发展的五次变革，极大的推动了社会的进步
? 信息科学技术知识成为最重要的战略资源，人们
现在关注于信息科学技术知识的开发和利用，人
类社会的发展与信息传播速度密切相关
? 信息科学、信息技术、信息产业
信息的定义与分类
? 1948年，维纳提出：信息就是信息，它既不是物
质也不是能量
? 一般普遍对信息的理解是，信息 =消息 =情报 =知
识 =信号？
信息不等同于情报
信息不等同于知识
信息与消息,消息是信息的载荷者，需要指出的是：一个消
息可以含有不同的信息量，同一信息也可以用不同的消息
来载荷。数据、图片可能发布的是同一信息
信息不等同于信号,信号是消息的一种表现形式，又是消息
的载体，它是一种物理量 。信号携带着信息，但不是信
息本身，同一信息可以用不同信号表示，同一信号也可以
表示不同信息。
信息的定义与分类
信息的定义与分类
? 信息是构成客观世界的三大要素之一
? 信息的定义：信息是事物运动状态或存在方式的不确定性
的描述
? 信息的分类：
语法信息：事物的状态和状态改变方式本身。研究事物运
动出现的各种可能状态和这些状态之间的联系。是抽象的。
语义信息：研究信息的主体含义。
语用信息：研究信息客观价值。
?人们对客观世界运动规律和存在状态的认识结果。
信息
传递 信息处理 — 再生
信息
传递
信息
获取
信息
施用
外部世界
问题／环境
信息运动过程
信息的特性及性质
信息的特性：
? 信息是无形的（无形性）
? 信息是可共享的（共享性）共享性的矛盾（竞争），加密
信息阻碍信息的传播和发展。
? 信息是扩充的，信息永远在产生、更新、演变（无限性）
? 信息是可以度量的：必须满足信息的三个条件 —— 结构的
（离散结构）、统计的（用统计方式、发生概率来测量不
确定性）、语义的（有具体含义）
信息的特性及性质
? 信息的性质：
? 普遍性
? 无限性
? 性对性
? 转移性
? 变换性
? 有序性
? 动态性
? 转化性
编码理论
? 编码理论的基本概念
? 编码理论的发展
? 编码理论研究的内容和目的
编码理论的基本概念
? 所谓编码，广义地说就是信号的变换，是
信息处理的主要手段。编码的主要目的是
提高系统对某一方面的要求以及优化系统
某一方面的性能指标
? 根据信息论的各种编码定理和通信系统的
性能指标，编码可分为信源编码、信道编
码和密码编码三类
通信系统模型
编码理论的基本概念
信源
加密密钥
干扰
信道 信宿
信源 信源编码 加密
信道
信道编码
信道解码解密信源解码信宿
解密密钥
通信系统模型的组成部分和功能说明
? 主要实体：信源和信宿
? 信道及干扰源
? 编码器
? 译码部分 —— 编码部分的逆过程
编码理论的发展
? 信源编码
1、无失真信源编码：对信源进行编码，没有
带来信息量的损失。（适用于离散信源
或数字信号）
2、限失真信源编码：在一定准则下，对信
号源进行编码。（适用于连续信源或模
拟信号）
? 信道编码
编码理论研究的内容和目的
编码理论是以信息作为主要研究对象，以
信息的运动规律和利用信息的原理作为主
要的研究内容，以信息科学方法论作为主
要的研究方法，以扩大人的信息功能为主
要研究目的的一门新兴科学。它的基本理
论是信息论，控制论和系统论。
