结论1: 有记忆信源的冗余度寓于信源符号间的相关性中。去除它们之间的相关性,使之成为或几乎成为不相关的信源,其熵将增大。 结论2: 离散无记忆信源的冗余度寓于符号概率的非均匀分布中。改变原来信源的概率分布,使之成为或接近等概分布的信源,其熵将增大。   定义5-1:设{Zt}是均值为0,方差为δ2的白噪声。若随机过程{Xt}满足: Xt=a1Xt-1+a2Xt-2+…+apXt-p+Zt 则称{Xt}为p阶自回归过程。(AR过程) 定义5-2:设{Zt}是均值为0,方差为δ2的白噪声,若随机过程{Xt}满足: Xt=b0Zt+ b1Zt-1 +…+bqZt-q 则称{Xt}为q阶动平均过程。(MA过程) 定义5-3:过程与过程的联合即为混合模型(ARMA) Xt=a1Xt-1+a2Xt-2+…+apXt-p+ Zt +b1Zt-1 +…+bqZt-q  + + Sr(Z)   (*)  (**) Durbin迭代算法公式: