结论1:
有记忆信源的冗余度寓于信源符号间的相关性中。去除它们之间的相关性,使之成为或几乎成为不相关的信源,其熵将增大。
结论2:
离散无记忆信源的冗余度寓于符号概率的非均匀分布中。改变原来信源的概率分布,使之成为或接近等概分布的信源,其熵将增大。
定义5-1:设{Zt}是均值为0,方差为δ2的白噪声。若随机过程{Xt}满足:
Xt=a1Xt-1+a2Xt-2+…+apXt-p+Zt
则称{Xt}为p阶自回归过程。(AR过程)
定义5-2:设{Zt}是均值为0,方差为δ2的白噪声,若随机过程{Xt}满足:
Xt=b0Zt+ b1Zt-1 +…+bqZt-q
则称{Xt}为q阶动平均过程。(MA过程)
定义5-3:过程与过程的联合即为混合模型(ARMA)
Xt=a1Xt-1+a2Xt-2+…+apXt-p+ Zt +b1Zt-1 +…+bqZt-q
+
+
Sr(Z)
(*)
(**)
Durbin迭代算法公式: