信 息 论课程概况
目的,
– 了解学习信息论的 作用、方法与意义,对信息论的 研究方法和成果 有广泛的基本认识，学会 应用,为进一步研究打下基础
特点,
– 以 信息理论 为中心，区别与,信源编码,,,信道编码,
– 以概念和物理意义为主，数学推导尽量放到课外
– 结合通信系统实际 应用教学计划内容 课时第一章,信息论与信息论方法概述 5
第二章,预备知识 5
第二章,信息论的基本概念 5
第三章,信源的熵率及冗余度 10
第四章,无失真信源编码 5
第五章,信道与信道容量 10
第六章,信道编码 5
第七章,率失真函数与信源限失真编码 5
复习考试 10
参考书目
付祖云，
朱雪龙,,应用信息论基础,,清华大学出版社
吴伟陵,,信息处理与编码,,人民邮电出版社
王育民等,,信息与编码理论,,西电出版社
周炯 槃,,信息理论基础,,人民邮电出版社
McElice,The Theory of Information &Coding
Proakis,Digital Communication
Viterbi,Principle of Digital communication
&Coding
其它有关事项
讲课,（概念、方法）
自学,（数学推导、定理证明）
考试,基本概念，基本计算。
联系方式：
email:yangjie@bit.edu.cn
Phone,68912615－ 8006
欢迎提出各种问题、意见和建议
是否学过信息论、信源编码或信道编码，程度如何？
希望重点讲什么？
希望哪些可以简略？
希望增加哪些内容？
对授课方式有什么意见和建议？
第一章：信息论与信息论方法概述
信息、信息科学与信息论
信息论研究的对象、目的和内容
信息论发展简史与现状
– 信息论的形成与发展
– 信息论方法的应用及其取得的成果信息、信息科学与信息论
Inform— information
“某人被通知或告知的内容、情报、消息,
－－牛津英文字典广义的信息 ———信息的形式、内容－－最广泛意义技术术语的信息－－表达信息所用的形式或载体－－具体但无确切定义统计信息 －－信息表达形式中统计方面的性质－－明确定义的科学名词
－－与内容无关、独立于形式什么是信息
？
信息、信息科学与信息论
IT ---
计算机所涉及的各种各样的技术
－－ 优点：笼统、不明确适应－种类繁多、不断发展统一的、全面的、高层次的什么是信息技术
？
信息、信息科学与信息论
出现于图书馆学－－研究图书文献的检索
计算机出现后－－新的含义
不同国家－－含义不尽相同
发展和长远的观点－－能与信息技术相对应的基础科学什么是信息科学
？
信息、信息科学与信息论信息论－统计信息理论四十年代末期 C.E.Shannon,以客观概率信息为研究对象,从通信的信息传输问题中总结和开拓出来的理论 。
统计信息理论局限性－－不能解决一些问题如：人工智能中启发式搜索和学习发展的观点－－信息科学所不可缺少的理论基石什么是信息理论
？
信息、信息科学与信息论在 通信 中对信息的表达分为三个层次,信号,消息,信息 。
信号,是信息的物理表达层,是三个层次中最具体的层次 。 它是一个物理量,是一个载荷信息的实体,可测量,可描述,可显示 。
消息,(或称为符号 )是信息的数学表达层,它虽不是一个物理量,但是可以定量地加以描述,它是具体物理信号的进一步数学抽象,可将具体物理信号抽象为两大类型：
1) 离散 ( 数字 ) 消息,是一组未知量,可用随机序列来描述：
U=(U1… Ul… UL)
2) 连续 (模拟 )消息,也是未知量,它可用随机过程来描述,U(t,ω)
信息,它是更高层次哲学上的抽象,是信号与消息的更高表达层次 。 三个层次中,信号最具体,信息最抽象 。 它们三者之间的关系是哲学上的内涵与外延的关系 。
通信中的信息含义
？
信息、信息科学与信息论关系：
信息 ---可以认为是具体的物理信号,数学描述的消息的内涵,即信号具体载荷的内容,消息描述的含义 。
信号 --则是抽象信息在物理层表达的外延；
消息 --则是抽象信息在数学层表达的外延。
同一信息，可以采用不同的信号形式 (比如文字、语言、图象等 )来载荷；
同一信息，也可以采用不同的数学表达形式 (比如离散或连续 )来定量描述；
同一信号形式，比如,0”与,1”可以表达不同形式的信息，比如无与有、
断 与通、低与高 (电平 )等等。
通信中的信息含义
？
信息论研究的对象、目的和内容
信息论的研究范畴广义信息论工程信息论统计信息论信息论研究的对象、目的和内容
统计信息论对象 —信息传输系统统一的通信系统模型信息论研究的对象、目的和内容统计信息论 —Shannon信息论 （ 本课程的主要内容 ）
主要研究通信系统的数学描述与定量分析,研究系统的最优状态与优化理论,即研究通信系统理论上的潜在能力与数学上的极限情况 。 它是以存在性研究为主体,又称它为数学信息论 。
研究内容,
1) 信源的描述,信息的定量度量,分析与计算 。
2) 信道的描述,信道传输的定量度量,分析与计算 。
3） 信源、信道与通信系统之间的统计匹配，以及通信系统的优化。
——Shannon的三个编码定理 。
信息论诞生五十年来,至今,仍然是指导通信技术发展的理论基础,是创新新通信体制的源泉 。
信息论研究的对象、目的和内容系统优化的实质就是要研究系统在不同优化指标下，两类参量（主、客观）之间的统计匹配与匹配的条件。
优化的目标：
系统传输最有效：对无失真信源、对限失真信源
系统传输最可靠；
系统传输最安全；
有以上三个指标、四个方面所讨论的系统优化就构成了最著名的 C,E,Shannon
三个编码定理与一个密码学基本定理。
信息论研究的对象、目的和内容工程信息论以工程为背景,主要研究通信系统中各部分的最佳工作规律,与最佳设计原则,它以构造性为主体,以工程上技术问题为主 。
研究内容主要包括：
信源编,译码理论及其设计构造方法；
信道编,译码理论及其设计构造方法；
最佳调制与解调理论与实现；
最佳检测,估值与最佳接收理论与实现；
– 检测,估值,滤波理论
最佳信息处理理论,方法与算法；
– 均衡、模式识别、人工智能、随机控制
……
信息论研究的对象、目的和内容
目的
– 找到信息传输过程的共同规律
– 提高信息传输的可靠性、有效性、安全性
可靠性：信源发出－－信道－－准确、不失真地再现于信宿
有效性：尽可能短的时间、尽可能少的资源实现传送
安全性：隐蔽、保护传送到消息
– 达到信息传输系统最优化信息论发展简史与现状－－ 信息论的形成与发展通信技术的理论基础交通物资运输电网能量（电力）运输通信
？？？
信息的表现形式通信关心简单、基础的广义信息信宿不能准确再现信源时：
信息论发展简史与现状－－ 信息论的形成与发展
1948年以前
– Telegraph (Morse,1830’s);
– Telephone (Bell,1876);
– Wireless Telegraph (Marconi,1887);
– AM Radio (early 1900’s)
– Single -Sideband Modulation(Carson,1922);
– Television (1925 -1927);
– Teletype (1931);
– Frequency Modulation (Armstrong,1936);
– Pulse-Code Modulation (PCM)(Reeves,1937-1939);
– Vocoder (Dudley,1939);
– Spread Spectrum (1940’s).
通信技术的发展提出新的问题：
远距离传输、提高信道利用率等信息论发展简史与现状－－ 信息论的形成与发展
Claude,E,Shannon的两篇论文 – Shannon 信息论
1948年 ----信息时代的里程碑 !
“A Mathematical Theory in Communication”
–Shannon第一、二定理
1959年,Coding theorems for a discrete
source with a fidelity criterion”.
– Shannon第三定理信息论发展简史与现状－－ 信息论的形成与发展
1948年以后，调制解调
– Digital Modulation:
BPSK,QPSK,QAM,FH,DS,
– FDMA,TDMA,CDMA
– 空间时间自适应处理、智能天线技术
– 多用户检测、干扰抑制技术
– 多载波和 OFDM
信息论发展简史与现状－－ 信息论的形成与发展
1948年以后，信源编码
– Huffman,Fano Code (1950);
– 波形编码,PCM,DM,DPCM;
– 语音参量编码 ;
– 图象编码,DCT,帧间预测插值,运动补偿
– 数据压缩编码
– 语音编码标准
– 图象编码标准信息论发展简史与现状－－ 信息论的形成与发展
1948年以后、信道编码
– Hamming Code,Cyclic Code (1950);
– Convolution Code (Fano,Viterbi,1950’);
– BCH Code,Reed Solumn Code (1959)
– 级连码（内码,RS码 +外码：卷级码）
– Trellis coded Modulation (1976,1982)
– Turbo Code (1993) (10-5,0.5dB)
– LDPC (Gallager,1963) (10-6,0.04dB)
信息论发展简史与现状－－ 信息论的形成与发展统计数学的一个分支
Fiser信息量,Shannon熵、率失真理论
ε 熵,α阶熵,β次熵,γ熵等信号与信息处理的一般理论基础密码学、最大熵谱估计、最大熵准则等信息论发展简史与现状－－
信息论方法的应用及其取得的成果
语音信号压缩：
64Kbps----100bps----(极限）
信息论发展简史与现状－－
信息论方法的应用及其取得的成果
降低信息传输所需的功率
-3 -2 -1 0 1 2 3 4 5 6 7 8 9 10 11 12
10
-6
10
-5
10
-4
10
-3
10
-2
10
-1
误码率
p
b
信噪比E
b
/N
0
(dB)
s
h
a
n
n
o
限仅内码
（
4
，
1
，
1
5
）
未编码仅内码
（
2
，
1
，
7
）
码级连级连信息论发展简史与现状－－
信息论方法的应用及其取得的成果
目的,
– 了解学习信息论的 作用、方法与意义,对信息论的 研究方法和成果 有广泛的基本认识，学会 应用,为进一步研究打下基础
特点,
– 以 信息理论 为中心，区别与,信源编码,,,信道编码,
– 以概念和物理意义为主，数学推导尽量放到课外
– 结合通信系统实际 应用教学计划内容 课时第一章,信息论与信息论方法概述 5
第二章,预备知识 5
第二章,信息论的基本概念 5
第三章,信源的熵率及冗余度 10
第四章,无失真信源编码 5
第五章,信道与信道容量 10
第六章,信道编码 5
第七章,率失真函数与信源限失真编码 5
复习考试 10
参考书目
付祖云，
朱雪龙,,应用信息论基础,,清华大学出版社
吴伟陵,,信息处理与编码,,人民邮电出版社
王育民等,,信息与编码理论,,西电出版社
周炯 槃,,信息理论基础,,人民邮电出版社
McElice,The Theory of Information &Coding
Proakis,Digital Communication
Viterbi,Principle of Digital communication
&Coding
其它有关事项
讲课,（概念、方法）
自学,（数学推导、定理证明）
考试,基本概念，基本计算。
联系方式：
email:yangjie@bit.edu.cn
Phone,68912615－ 8006
欢迎提出各种问题、意见和建议
是否学过信息论、信源编码或信道编码，程度如何？
希望重点讲什么？
希望哪些可以简略？
希望增加哪些内容？
对授课方式有什么意见和建议？
第一章：信息论与信息论方法概述
信息、信息科学与信息论
信息论研究的对象、目的和内容
信息论发展简史与现状
– 信息论的形成与发展
– 信息论方法的应用及其取得的成果信息、信息科学与信息论
Inform— information
“某人被通知或告知的内容、情报、消息,
－－牛津英文字典广义的信息 ———信息的形式、内容－－最广泛意义技术术语的信息－－表达信息所用的形式或载体－－具体但无确切定义统计信息 －－信息表达形式中统计方面的性质－－明确定义的科学名词
－－与内容无关、独立于形式什么是信息
？
信息、信息科学与信息论
IT ---
计算机所涉及的各种各样的技术
－－ 优点：笼统、不明确适应－种类繁多、不断发展统一的、全面的、高层次的什么是信息技术
？
信息、信息科学与信息论
出现于图书馆学－－研究图书文献的检索
计算机出现后－－新的含义
不同国家－－含义不尽相同
发展和长远的观点－－能与信息技术相对应的基础科学什么是信息科学
？
信息、信息科学与信息论信息论－统计信息理论四十年代末期 C.E.Shannon,以客观概率信息为研究对象,从通信的信息传输问题中总结和开拓出来的理论 。
统计信息理论局限性－－不能解决一些问题如：人工智能中启发式搜索和学习发展的观点－－信息科学所不可缺少的理论基石什么是信息理论
？
信息、信息科学与信息论在 通信 中对信息的表达分为三个层次,信号,消息,信息 。
信号,是信息的物理表达层,是三个层次中最具体的层次 。 它是一个物理量,是一个载荷信息的实体,可测量,可描述,可显示 。
消息,(或称为符号 )是信息的数学表达层,它虽不是一个物理量,但是可以定量地加以描述,它是具体物理信号的进一步数学抽象,可将具体物理信号抽象为两大类型：
1) 离散 ( 数字 ) 消息,是一组未知量,可用随机序列来描述：
U=(U1… Ul… UL)
2) 连续 (模拟 )消息,也是未知量,它可用随机过程来描述,U(t,ω)
信息,它是更高层次哲学上的抽象,是信号与消息的更高表达层次 。 三个层次中,信号最具体,信息最抽象 。 它们三者之间的关系是哲学上的内涵与外延的关系 。
通信中的信息含义
？
信息、信息科学与信息论关系：
信息 ---可以认为是具体的物理信号,数学描述的消息的内涵,即信号具体载荷的内容,消息描述的含义 。
信号 --则是抽象信息在物理层表达的外延；
消息 --则是抽象信息在数学层表达的外延。
同一信息，可以采用不同的信号形式 (比如文字、语言、图象等 )来载荷；
同一信息，也可以采用不同的数学表达形式 (比如离散或连续 )来定量描述；
同一信号形式，比如,0”与,1”可以表达不同形式的信息，比如无与有、
断 与通、低与高 (电平 )等等。
通信中的信息含义
？
信息论研究的对象、目的和内容
信息论的研究范畴广义信息论工程信息论统计信息论信息论研究的对象、目的和内容
统计信息论对象 —信息传输系统统一的通信系统模型信息论研究的对象、目的和内容统计信息论 —Shannon信息论 （ 本课程的主要内容 ）
主要研究通信系统的数学描述与定量分析,研究系统的最优状态与优化理论,即研究通信系统理论上的潜在能力与数学上的极限情况 。 它是以存在性研究为主体,又称它为数学信息论 。
研究内容,
1) 信源的描述,信息的定量度量,分析与计算 。
2) 信道的描述,信道传输的定量度量,分析与计算 。
3） 信源、信道与通信系统之间的统计匹配，以及通信系统的优化。
——Shannon的三个编码定理 。
信息论诞生五十年来,至今,仍然是指导通信技术发展的理论基础,是创新新通信体制的源泉 。
信息论研究的对象、目的和内容系统优化的实质就是要研究系统在不同优化指标下，两类参量（主、客观）之间的统计匹配与匹配的条件。
优化的目标：
系统传输最有效：对无失真信源、对限失真信源
系统传输最可靠；
系统传输最安全；
有以上三个指标、四个方面所讨论的系统优化就构成了最著名的 C,E,Shannon
三个编码定理与一个密码学基本定理。
信息论研究的对象、目的和内容工程信息论以工程为背景,主要研究通信系统中各部分的最佳工作规律,与最佳设计原则,它以构造性为主体,以工程上技术问题为主 。
研究内容主要包括：
信源编,译码理论及其设计构造方法；
信道编,译码理论及其设计构造方法；
最佳调制与解调理论与实现；
最佳检测,估值与最佳接收理论与实现；
– 检测,估值,滤波理论
最佳信息处理理论,方法与算法；
– 均衡、模式识别、人工智能、随机控制
……
信息论研究的对象、目的和内容
目的
– 找到信息传输过程的共同规律
– 提高信息传输的可靠性、有效性、安全性
可靠性：信源发出－－信道－－准确、不失真地再现于信宿
有效性：尽可能短的时间、尽可能少的资源实现传送
安全性：隐蔽、保护传送到消息
– 达到信息传输系统最优化信息论发展简史与现状－－ 信息论的形成与发展通信技术的理论基础交通物资运输电网能量（电力）运输通信
？？？
信息的表现形式通信关心简单、基础的广义信息信宿不能准确再现信源时：
信息论发展简史与现状－－ 信息论的形成与发展
1948年以前
– Telegraph (Morse,1830’s);
– Telephone (Bell,1876);
– Wireless Telegraph (Marconi,1887);
– AM Radio (early 1900’s)
– Single -Sideband Modulation(Carson,1922);
– Television (1925 -1927);
– Teletype (1931);
– Frequency Modulation (Armstrong,1936);
– Pulse-Code Modulation (PCM)(Reeves,1937-1939);
– Vocoder (Dudley,1939);
– Spread Spectrum (1940’s).
通信技术的发展提出新的问题：
远距离传输、提高信道利用率等信息论发展简史与现状－－ 信息论的形成与发展
Claude,E,Shannon的两篇论文 – Shannon 信息论
1948年 ----信息时代的里程碑 !
“A Mathematical Theory in Communication”
–Shannon第一、二定理
1959年,Coding theorems for a discrete
source with a fidelity criterion”.
– Shannon第三定理信息论发展简史与现状－－ 信息论的形成与发展
1948年以后，调制解调
– Digital Modulation:
BPSK,QPSK,QAM,FH,DS,
– FDMA,TDMA,CDMA
– 空间时间自适应处理、智能天线技术
– 多用户检测、干扰抑制技术
– 多载波和 OFDM
信息论发展简史与现状－－ 信息论的形成与发展
1948年以后，信源编码
– Huffman,Fano Code (1950);
– 波形编码,PCM,DM,DPCM;
– 语音参量编码 ;
– 图象编码,DCT,帧间预测插值,运动补偿
– 数据压缩编码
– 语音编码标准
– 图象编码标准信息论发展简史与现状－－ 信息论的形成与发展
1948年以后、信道编码
– Hamming Code,Cyclic Code (1950);
– Convolution Code (Fano,Viterbi,1950’);
– BCH Code,Reed Solumn Code (1959)
– 级连码（内码,RS码 +外码：卷级码）
– Trellis coded Modulation (1976,1982)
– Turbo Code (1993) (10-5,0.5dB)
– LDPC (Gallager,1963) (10-6,0.04dB)
信息论发展简史与现状－－ 信息论的形成与发展统计数学的一个分支
Fiser信息量,Shannon熵、率失真理论
ε 熵,α阶熵,β次熵,γ熵等信号与信息处理的一般理论基础密码学、最大熵谱估计、最大熵准则等信息论发展简史与现状－－
信息论方法的应用及其取得的成果
语音信号压缩：
64Kbps----100bps----(极限）
信息论发展简史与现状－－
信息论方法的应用及其取得的成果
降低信息传输所需的功率
-3 -2 -1 0 1 2 3 4 5 6 7 8 9 10 11 12
10
-6
10
-5
10
-4
10
-3
10
-2
10
-1
误码率
p
b
信噪比E
b
/N
0
(dB)
s
h
a
n
n
o
限仅内码
（
4
，
1
，
1
5
）
未编码仅内码
（
2
，
1
，
7
）
码级连级连信息论发展简史与现状－－
信息论方法的应用及其取得的成果
