信源编码：将信源输出的消息进行有效变换，使其成为适合信道传输的符号序列，且使该序列组成的新信源的剩余度尽量减少。 例： 信源符号si 符号概率p(si) 码1 码2 码3 码4 码5  S1 1／2 0 0 1 1 00  S2 1／4 11 10 10 01 01  S3 1／8 00 00 100 001 10  S4 1／8 11 01 1000 0001 11   定义4－1：若某一种码的任意一串有限长的码序列只能被唯一地译成所对应的信源符号，则该码称为惟一可译码，反之为非惟一可译码。 例：对DMS进行无失真编码。  二次扩展信源编码 ai P(ai) 码C li  S1S1 9/16 0 1  S1S2 3/16 10 2  S2S1 3/16 110 3  S2S2 1/16 111 3   定理4－4：香农第一定理（可变长无失真信源编码定理） DMS的N次扩展信源SN＝｛(1，(2，((qN｝，其熵为H(SN)，并有码符号X＝｛x1，x2，( xr｝。对信源SN进行编码，总可以找到一种编码方法，构成惟一可译码，使信源S中每个信源符号所需的平均码长满足：  且当N((时，有： 其中，为N长源编码的平均码长，(i是(i所对应的码字长度。 表述二：若R(>H(S)，就存在惟一可译变长编码；若R(<H(S)，惟一可译变长编码不存在，不能实现无失真编码。（其中） 表述三：（无噪信道编码定理） 若信道的信息传输率R不大于信道容量C，总能对信源的输出进行适当编码，使得在无损无噪信道上能无差错地以最大信息传输率C传输信息；但要使信道信息传输率R大于C而无差错地传输则是不可能的。 表述四： 设信源熵为H（比特/符号），无噪无损信道的信道容量为Ct（比特/秒），则总可以找到一种编码方法对信源的输出进行无失真编码，使得在信道上传输的平均码速率为（Ct/H-ε）（符号/秒），其中ε为任意小的正数，但要使传输的平均码速率大于Ct/H（符号/秒）是不可能的。 信道编码概念小结： 目的：降低错误译码概率PE。 对象：信息序列（设码元间彼此无关且等概出现）。 方法：在传输的信息码之中按一定规律产生一些附加数字，经信道传输，在传输中若码字出现错误，收端能利用编码规律发现码的内在相关性受到破坏，从而按一定的译码规则自动纠正或发现错误，降低误码率。 实质：在保持一定传输信息速率条件下，通过增加一定的码元多余度，使输出的码字具有特定的相关性，从而使收端易于发现或纠正由于信道噪声而引起的传输错误。 香农第二定理（有噪信道编码定理） 设某离散无记忆信道有r个输入，s个输出，信道容量为C，在输入rn个符号中选出M个码字组成一种码，设ε是任意小的正数， 若M≤2n(C-ε)，则存在这样的码及相应的译码规则，当n足够大时，使信道输出的错误概率PE任意小； 若M=2n(C+ε)则无论n多大，也找不到一种编码，使译码错误概率PE任意小。 表述二： 若在信息传输率R不大于信道容量C（即R≤C），则存在一种编码，当码长n足够大时，它可以使信道输出端的错误概率任意小，而信息传输率无限接近C；如果R>C，则不可能找到一种编码，使输出端错误概率任意小。 香农第三定理（保真度准则下的信源编码定理） 设R(D)为一离散无记忆信源的信息率失真函数，并且有有限的失真测度D，则对于任意的D≥0，ε>0，以及任意长的码长n，一定存在一种码字个数为M≥2n[R(D)+ε]的信源编码，使编码后的平均失真度。 表述二： 设R(D)为一离散无记忆信源的信息率失真函数，并且规定了有限的失真测度，对于任意的D≥0，ε>0，则： 若给定失真D，且R’=logM/n≥R(D)，则存在长度为N的码，它的平均失真度；（正定理） 若R’<R(D)时，无论采用什么编码，其平均失真大于D。（逆定理）