参考书：
信息论—基础理论与应用（傅祖芸）
信息理论基础（周荫清）
数据压缩的原理与应用 （吴乐南）
纠错码—原理与方法 （王新梅）
信息论：是一门应用概率论、随机过程、数理统计和近世代数的方法，来研究广义的信息传输、提取和处理系统中一般规律的科学；它的主要目的是提高信息系统的有效性和可靠性，最优化；其主要内容（或分支）包括：香农理论、编码理论、维纳理论、检测和估计理论、信号设计与估计理论、调制理论和随机噪声理论。
消息：用文字、符号、数据、语言、音符、图片、图像等能够被人们感官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，就称为消息。
信息：是事物运动状态或存在方式的不确定性的描述。
信号：把消息变换成适合信道传输的物理量，这种物理量就称为信号。
语义信息：事物运动状态及方式的具体含义。
语法信息：事物运动状态及变化方式的形式。（各种信息要素出现的可能性及各要素之间的相互关系）。
语用信息：事物运动状态、方式及其含义对观察者的效用。
函数I(ai) = f[p(ai)]应满足以下条件：
I(ai)应是概率p(ai)的单调递减函数，即：当p(a1)> p(a2)时有I(a1) < I(a2)；
当p(ai)＝1时I(ai)＝0；
当p(ai)＝0时I(ai)→∞；
两个独立事件的联合信息量应等于它们分别信息量之和，即：
若: p(ai aj)＝p(ai) p(aj)，
则：I(aiaj)=I(ai)+I(aj)。
