数字信号处理 —— 时域离散随机信号处理第一章 时域离散随机信号的分析
1.1 引言
1.2 时域离散随机信号的统计描述
1.3 随机序列数字特征的估计
1.4 平稳随机序列通过线性系统
1.5 时间序列信号模型数字信号处理 —— 时域离散随机信号处理
1.1 引 言信号有确定性信号和随机信号之分 。 所谓确定性信号,就是信号的幅度随时间的变化有一定的规律性,可以用一个明确的数学关系进行描述,是可以再现的 。 而随机信号随时间的变化没有明确的变化规律,在任何时间的信号大小不能预测,因此不可能用一明确的数学关系进行描述,但是这类信号存在着一定的统计分布规律,它可以用概率密度函数,概率分布函数,
数字特征等进行描述 。
数字信号处理 —— 时域离散随机信号处理实际中的随机信号常有四种形式：
（ 1） 连续随机信号,时间变量和幅度均取连续值的随机信号 。
（ 2） 时域离散随机信号 (简称随机序列 ),时间变量取离散值,
而幅度取连续值的随机信号 。
（ 3） 幅度离散随机信号：幅度取离散值,而时间变量取连续值的随机信号 。 例如随机脉冲信号,其取值只有两个电平,不是高电平就是低电平,但高低电平的选取却是随机的 。
（ 4） 离散随机序列 (也称为随机数字信号 ),幅度和时间变量均取离散值的信号。
数字信号处理 —— 时域离散随机信号处理利用计算机只能处理随机数字信号 。 本书中针对时域离散随机信号展开分析与讨论 。 对于随机数字信号,需要增加量化效应的分析,但随着计算机位数的不断增多,量化效应逐渐不明显；为简单起见,本书中有时也将这种信号简称为随机序列 。
数字信号处理 —— 时域离散随机信号处理随机信号 X(t)是由它所有可能的样本函数集合而成的,样本函数用 xi(t),i=1,2,3,…表示 。 例如,图 1.1.1表示的是 n部接收机的输出噪声电压,图中 xn(t)表示第 n部接收机的输出噪声,称为第 n条样本曲线 。 如果对随机信号 X(t)进行等间隔采样,或者说将 X(t) 进行时域离散化,得到 X(t1),X(t2),X(t3),…,所构成的集合称为时域离散随机信号 。 用序号 n取代 tn,随机序列用 X(n)表示 。 换句话说,随机序列是随 n变化的随机变量序列 。 图 1.1.2表示的就是图 1.1.1随机信号经过时域离散化形成的随机序列 。 相应的 xi(n),i=1,2,3,…，
称为样本序列,它们是 n的确定性函数 。 样本序列也可以用 xn表示 。 而 X(t1),X(t2),X(t3),… 或者 X(1),X(2),X(3),… 则都是随机变量 。 因此随机序列兼有随机变量和函数的特点 。 这里要注意,X(n)
与 xi(n)分别表示不同的含义 (n,i=1,2,3,…),大写字母表示随机序列或者随机变量,小写字母表示样本序列 。 但在本书以后的章节中,为简单起见,也用小写字母 x(n)或 xn表示随机序列,只要概念清楚,会分清楚何时代表随机序列,何时代表样本函数 。
数字信号处理 —— 时域离散随机信号处理图 1.1.1 n部接收机的输出噪声
x
1
( t )
x
2
( t )
x
n
( t )
t
t
tt
1
t
n
数字信号处理 —— 时域离散随机信号处理图 1.1.2 n部接收机输出噪声的时域离散化
x
1
( n )
x
2
( n )
x
n
( n )
n
n
n
数字信号处理 —— 时域离散随机信号处理
1.2 时域离散随机信号的统计描述
1.2.1 时域离散随机信号 （ 随机序列 ）
1.
对于随机变量 Xn,其概率分布函数用下式描述：
)(),( nnnX xXPnXF n
(1.2.1)
式中 P表示概率。
数字信号处理 —— 时域离散随机信号处理
2.
如果 Xn取连续值，其概率密度函数用下式描述：
n
nX
nX x
nxFnxp
n
n?
),(),(
上面 (1.2.1)和 (1.2.2)式分别称为随机序列的一维概率分布函数和一维概率密度函数,它们只描述随机序列在某一 n的统计特性 。
而对于随机序列,不同 n的随机变量之间并不是孤立的,为了更加完整地描述随机序列,需要了解二维及多维统计特性 。
数字信号处理 —— 时域离散随机信号处理二维概率分布函数,
),(),,,(,mmnnmnXX xXxXPmxnxF mn(1.2.3)
对于连续随机变量,其二维概率密度函数为
mn
mnXX
mnXX xx
mxnxFmxnxp
mn
mn
),,(),,(,,2
,,
(1.2.4)
以此类推,N维概率分布函数为
),,,(),,2,,1,( 221121,,21 NNNXXX xXxXxXPxxxF N
数字信号处理 —— 时域离散随机信号处理对于连续随机变量,其 N维概率密度函数为
N
NXXX
N
NXXX xxx
NxxxFNxxxp
N
N
21
21,,,
21,,,
),,,2,,1,(),,,2,,1,(
21
21
概率分布函数能对随机序列进行完整的描述,但实际中往往无法得到它 。 为此,引入随机序列的数字特征 。 在实际中,
这些数字特征比较容易进行测量和计算,知道这些数字特征也足够用了 。 常用的数字特征有数学期望,方差和相关函数 。
数字信号处理 —— 时域离散随机信号处理
1.2.2
1,数学期望 (统计平均值 )
随机序列的数学期望定义为
xnxpnxnxEnm nxx d),()()]([)( (1.2.7)
式中 E表示求统计平均值 。 由上式可见,数学期望是 n的函数,
如果随机序列是平稳的,则数学期望是常数,与 n无关 。
数字信号处理 —— 时域离散随机信号处理
2,均方值与方差随机序列均方值定义为
xnxpnxXE nxn d),(|)(|]|[| 22
(1.2.8)
随机序列的方差定义为
]|)([|)( 22 nmXEn xnx (1.2.9)
可以证明，上式也可以写成下式,
)(]|[|)( 222 nmXEn xnx
(1.2.10)
数字信号处理 —— 时域离散随机信号处理一般均方值和方差都是 n的函数,但对于平稳随机序列,它们与 n无关,是常数 。 如果随机变量 Xn代表电压或电流,其均方值表示在 n时刻消耗在 1 Ω电阻上的集合平均功率,方差则表示消耗在 1Ω电阻上的交变功率的集合平均 。 有时将 σx称为标准方差 。
数字信号处理 —— 时域离散随机信号处理
3,随机序列的相关函数和协方差函数我们知道,在随机序列不同时刻的状态之间,存在着关联性,或者说不同时刻的状态之间互相有影响,包括随机序列本身或者不同随机序列之间 。 这一特性常用自相关函数和互相关函数进行描述 。
自相关函数定义为
mnmnXXmnmnxx dxdxmxnxpxxXXEmnr mn ),,,(][),(,
**
(1.2.11)
数字信号处理 —— 时域离散随机信号处理自协方差函数定义为
)](*),[(],c o v [ mn XmXnmn mXmXEXX
(1.2.12)
式中的,*”表示复共轭。 上式也可以写成
mn XXxxmn mmmnrXX
*),(),c o v ( (1.2.13)
对于零均值随机序列,mXn= mXm=0,则
),(),co v ( mnrXX xxmn?
这种情况下,自相关函数和自协方差函数没有什么区别。
数字信号处理 —— 时域离散随机信号处理对于两个不同的随机序列之间的关联性,我们用互相关函数和互协方差函数描述 。
互相关函数的定义为
mnmnYXmnmnxy dydxmynxpyxYXEmnr mn ),,,(][),(,
**
式中 pXn,Ym(xn,n,ym,m)表示 Xn和 Ym的联合概率密度 。
互协方差函数定义为
mn
mn
YXxy
YmXnmn
mmmnr
mYmXEYX
*
*
),(
)]()[(),c o v (
同样,当 mXn=mYm =0时，
cov(Xn,Ym)=rxy(n,m)
数字信号处理 —— 时域离散随机信号处理
1.2.3
在信息处理与传输中,经常遇到一类称为平稳随机序列的重要信号 。 所谓平稳随机序列,是指它的 N维概率分布函数或 N
维概率密度函数与时间 n的起始位置无关 。 换句话说,平稳随机序列的统计特性不随时间的平移而发生变化 。 如果将随机序列在时间上平移 k,其统计特性满足下式：
),,,2,,1,(
),,,2,,1,(
21,,,
21,,,
21
21
NxxxF
kNxkxkxF
NXXX
kNkkkXkXkX
N
N
(1.2.16)
数字信号处理 —— 时域离散随机信号处理这类随机序列就称为平稳随机序列 。 经常将上面这类随机序列称为狭义 (严 )平稳随机序列,这一严平稳的条件在实际情况下很难满足 。 许多随机序列不是平稳随机序列,但是它们的均值和均方差却不随时间而改变,其相关函数仅是时间差的函数 。 一般将这一类随机序列称为广义 (宽 )平稳随机序列 。
下面我们重点分析研究这类平稳随机序列 。 为简单起见,将广义平稳随机序列简称为平稳随机序列 。
数字信号处理 —— 时域离散随机信号处理平稳随机序列的一维概率密度函数与时间无关,因此均值,
方差和均方值均与时间无关,它们可分别用下式表示：
]|[|]|[|
]|[|]|[|
)]([)]([
222
22
xmnxnx
mnn
x
mxEmxE
XEXE
mnxEnxEm
(1.2.17)
(1.2.18)
(1.2.19)
二维概率密度函数仅决定于时间差,与起始时间无关；自相关函数与自协方差函数是时间差的函数 。 自相关函数 rxx(m)与自协方差函数 covxx(m)分别用下式表示,
)](*)[()(c o v
][)( *
xmnxnxx
mnnxx
mXmXEm
XXEmr
(1.2.20)
(1.2.21)
数字信号处理 —— 时域离散随机信号处理对于两个各自平稳且联合平稳的随机序列,其互相关函数为
][),()( * mnnxyxy YXEmnnrmr
(1.2.22)
显然,对于自相关函数和互相关函数,下面公式成立,
)()(
)()(
*
*
mrmr
mrmr
yxxy
xxxx
(1.2.23)
(1.2.24)
如果对于所有的 m,满足公式,rxy(m)=0,则称两个随机序列互为正交 。 如果对于所有的 m,满足公式,rxy(m)=mxmy,covxy
(m)=0,则称两个随机序列互不相关 。
数字信号处理 —— 时域离散随机信号处理实平稳随机序列的相关函数,协方差函数具有以下重要性质：
（ 1） 自相关函数和自协方差函数是 m 的偶函数,用下式表示,
)(c o v)(c o v),()(
)(c o v)(c o v),()(
mmmrmr
mmmrmr
yxxyyxxy
xxxxxxxx
(1.2.25)
(1.2.26)
（ 2）
][)0( 2nxx XEr? (1.2.27)
rxx(0)数值上等于随机序列的平均功率。
数字信号处理 —— 时域离散随机信号处理
（ 3）
|)(|)0( mrr xxxx?
（ 4）
2)(l im xxx
m mmr
yxxym mmmr )(l i m
(1.2.29)
(1.2.30)
上式说明大多数平稳随机序列内部的相关性随着时间差的变大，
愈来愈弱。
（ 5） 22 )0(c o v,)()(c o v
xxxxxxxx mmrm
(1.2.31)
数字信号处理 —— 时域离散随机信号处理
1.2.4 平稳随机序列的功率密度谱我们知道,平稳随机序列是非周期函数,且是能量无限信号,
无法直接利用傅里叶变换进行分析 。 但自相关函数也是非周期序列,却随着时间差 m的增大,而趋近于随机序列的均值 。 如果随机序列的均值为 0,即 mx=0,rxx(m)是收敛序列,其 Z变换用
Pxx(z)表示如下,
m
xxxx zmrzP
)()(
(1.2.32)
且
c mxxxx zzzPjmr d)(2 1)( 1?
(1.2.3３ )
数字信号处理 —— 时域离散随机信号处理将 (1.2.23)式进行 Z变换，得到：
** 1)( zPzP xxxx
(1.2.34)
如果 z1是其极点,1/z*1也是极点 。 如果 z1在单位圆内,必须在单位圆外,收敛域一定包含单位圆,Pxx(z)的收敛域有以下形式：
*11?z
1|| aa RzR 0≤Ra≤1
类似地,互相关函数的 Z变换用 Pxy(z)表示,有
m
xyxy zmrzP )()(
(1.2.35)
数字信号处理 —— 时域离散随机信号处理
** 1)( zPzP yxxy
(1.2.36)
由于 Pxx(z)的收敛域包含单位圆,因此 rxx(m)的傅里叶变换存在 。 令 z=exp(jω),代入 (1.2.32)式,有
mj
xxxx mrP
e)()e( j
(1.2.37)
de)(e2 1)( - njjxx mr
(1.2.38)
将 m=0代入上式，得到
d)(e2 1)0( - jxxxx Pr
(1.2.39)
数字信号处理 —— 时域离散随机信号处理
（ 1） 功率谱是 ω的偶函数：
)()( xxxx PP (1.2.40)
功率谱是 ω的偶函数这一结果,可直接由自相关函数是时间差的偶函数证明 。 由于功率谱和自相关函数都是实,偶函数,
它们还可以表示为
0
j )c o s ()(2)e(
m
xxxx mmrP?
d)c o s ()e(1)(
0
mPmr jxxxx
(1.2.41)
(1.2.42)
数字信号处理 —— 时域离散随机信号处理
（ 2） 功率谱是实的非负函数,即
Pxx(ω)≥0
性质 (2)的证明见下节。 类似地，对于互功率谱,有
)()(
de)(
π2
1
)(
)()(
π
π-
j
j
yxxy
n
xyxy
m
n
xyxy
PP
Pmr
emrP
(1.2.43)
(1.2.44)
(1.2.45)
数字信号处理 —— 时域离散随机信号处理
1.2.5 随机序列的各态历经性我们知道集合平均要求对大量的样本进行平均,实际中这种做法是不现实的 。 在很多情况下,可以用一条样本曲线描述随机序列,因此可以用样本曲线进行测量和分析 。
设 x(n)是平稳随机序列 X(n)的一条样本曲线，其时间平均值为
N
NnN
nxNnx )(12 1lim)( (1.2.46)
类似地，其时间自相关函数为
N
NnN
mnxnxNmnxnx )()(*12 1lim)()(*
(1.2.47)
数字信号处理 —— 时域离散随机信号处理式中 〈 ·〉 表示时间平均算子 。 如果平稳随机序列的集合平均值与集合自相关函数值依概率趋于平稳随机序列样本函数的时间平均值与时间自相关函数,即满足下面两式：
〈 x(n)〉 =mx=E［ X(n)］
〈 x*(n)x(n+m)〉 =rxx(m)=E［ X*(n)X(n+m)］
(1.2.48)
(1.2.49)
则称该平稳随机序列具有各态历经性 。 平稳随机序列虽有各态历经性的和非各态历经性的两种,但在实际中遇到的平稳随机序列,一般都是各态历经性的 。 这样我们用研究平稳随机序列的一条样本曲线代替研究其集合,用时间平均代替集合平均,
这给研究平稳随机序列带来很大的方便 。
数字信号处理 —— 时域离散随机信号处理
1.2.6
1,正态 （ 高斯 ） 随机序列正态随机序列 x(n)的 N维联合概率密度函数用下式表示：
)()( v a r)(
2
1e x p
|v a r|)π2(
1),,,( 1
2
1
2
21 MXXMX
X
xxxp TNN?
(1.2.50)
式中
T
21
T
21
],,,[
],,,[
N
N
mmmM
xxxX
数字信号处理 —— 时域离散随机信号处理
])[(
v a r
22
2
2
22
2212
1211
nn
N
N
N
xnx
x
xxxxx
xxxxx
mxE
X
)](*)[(),c o v ( mnmn xmxnmnxx mxmxExx
数字信号处理 —— 时域离散随机信号处理上面公式表明,正态 （ 高斯 ） 随机序列仅决定于其均值矢量 M以及方差阵 varX。 具有指数型自相关函数的平稳高斯过程称为高斯 —马尔可夫过程 。 这种信号的自相关函数和谱密度函数为
||-2 e)( mX mR
22
2
j 2)e(
xxP
高斯 —马尔可夫也是一种常见的随机信号,适合于大多数物理过程,具有较好的精确性,数学描述简单 。 因为当 m→∞ 时,
自相关函数趋近于 0,所以均值为 0,过程的自相关函数特性完全描述了过程的特性 。
数字信号处理 —— 时域离散随机信号处理
2,
如果随机序列 x(n)，其随机变量是两两不相关的,即
mnxmn nxx 2),c o v (?
式中
0
1
mn? m≠n
m＝ n
则称该序列为白噪声序列 ; 如果白噪声序列是平稳的,则
cov(xn,xm)=σ2δmn (1.2.54)
数字信号处理 —— 时域离散随机信号处理式中,σ2是常数 。 设均值 mxn=m=0,其功率谱 Pxx(ejω)=σ2,在整个频带上功率谱是一个常数 。 如果白噪声序列服从正态分布,序列中随机变量的两两不相关性就是相互独立性,称为正态白噪声序列 。 显然,白噪声是随机性最强的随机序列,实际中不存在,是一种理想白噪声,一般只要信号的带宽大于系统的带宽,
且在系统的带宽中信号的频谱基本恒定,便可以把信号看作白噪声 。 注意：正态和白色是两种不同的概念,前者是指信号取值的规律服从正态分布,后者指信号不同时刻取值的关联性 。
数字信号处理 —— 时域离散随机信号处理
3,谐波过程谐波过程用下式描述：
)c o s ()(
1
ii
N
i
i nAnx
(1.2.55)
式中,Ai和 ωi(i=1,2,3,…,N)是常数,θi(i=1,2,3,…,N)是服从均匀分布的独立随机变量,其概率密度用下式表示：
ππ2 1)( iip
(1.2.5６ )
也可以将 (1.2.55)式写成下式,
))s in ()c o s (()( '
1
' nBnAnx
iii
N
i
i
式中
iiiiii BBAA s i n,c o s ''
(1.2.5７ )
(1.2.5８ )
数字信号处理 —— 时域离散随机信号处理可以证明,这种谐波信号模型是平稳的,设 N=1,计算它的统计平均值和自相关函数：
)c o s ()( nAnx (1.2.59)
0d)c o s (2)]([ nAnxE
(1.2.60)
d)}c o s (]2)2{ c o s [ (
4
d))(c o s ()c o s (
2
)]()([),(
2
2
mnn
A
mnn
A
mnxnxEmnnr
xx
数字信号处理 —— 时域离散随机信号处理上式中第一项积分为 0，因此
)c o s (21),( 2 mAmnnr xx
(1.2.61)
由于谐波过程的统计平均值与时间 n无关,自相关函数仅与时间差 m有关,谐波过程是平稳的 。
当 N大于 1时，也有同样的结论，可以证明：
)c o s (
2
1
)(
0)]([
1
2 mAmr
nxE
i
N
i
ixx?
(1.2.62)
数字信号处理 —— 时域离散随机信号处理
1.2.7 随机信号的采样定理对于平稳随机信号,如果其功率谱严格限制在某一有限频带内,该随机信号称为带限随机信号 。 如果平稳随机信号 X(t)
的功率谱 Pxx(Ω)满足下式：
c||0)(xxP
则称 X(t)为低通性带限随机信号,式中 Ωc表示功率谱的最高截止频率 。
设以采样间隔 T对平稳随机信号 X(t)进行采样,采样后随机序列为 X(n),只要采样频率 fs满足：
css 2π2 f
或者
cc
π
2
1
fT
(1.2.63)
数字信号处理 —— 时域离散随机信号处理则有以下采样插值公式,
)(
)(s i n)()(?
nTt
nTtnTXtX
c
c
(1.2.64)
可以证明,在均方意义上,X(t)等于 ［ 1］,即)(? tX
0]|)(?)([| 2 tXtXE
(1.2.6５ )
数字信号处理 —— 时域离散随机信号处理
1.3 随机序列数字特征的估计
1.3.1
一般来说,根据观测数据对一个量 （ 参数 ） 或者同时对几个量 （ 参数 ） 进行推断,是估计问题 。 例如,通信工程中的信号参数和波形,包括振幅,频率,相位,时延和瞬时波形 。 这里无论对何种量估计,都必须根据观测值进行估计,而观测存在观测误差 （ 或者把观测误差看成噪声 ）,虽然被估计的参数是确定量,观测数据却是随机的,由观测值推算出的估计量存在随机估计误差 。 因此如何判定估计方法的好坏,是统计估计的基本问题 。
数字信号处理 —— 时域离散随机信号处理假定对随机变量 x观测了 N次,得到 N个观测值,x0,x1,x2,…,
xN-1,希望通过这 N个观测值估计参数 α,称 α为真值,它的估计值用 表示 。 是观测值的函数,假定该函数关系用 F［ ·］ 表示,
],,,,[? 1210 NxxxxF (1.3.1)
数字信号处理 —— 时域离散随机信号处理图 1.3.1 估计量的概率密度曲线
P
1
(? )
P
2
(? )
^
^
^
0
数字信号处理 —— 时域离散随机信号处理
1,偏移性令估计量的统计平均值与真值之间的差值为偏移 B,其公式为
]?[ EB (1.3.2)
如果 B=0,称为无偏估计 。 无偏估计表示估计量仅在它的真值附近摆动,这是我们希望有的估计特性 。 如果 B≠0,则称为有偏估计 。 如果随着观察次数 N的加大,能够满足下式：
]?[lim EN
(1.3.３ )
则称为渐近无偏估计，这种情况在实际中是经常有的。
数字信号处理 —— 时域离散随机信号处理
2.
如果两个估计量的观察次数相同,又都是无偏估计,哪一个估计量在真值附近的摆动更小一些,即估计量的方差更小一些,就说这一个估计量的估计更有效 。
如果 和 都是 x的两个无偏估计值，对任意 N，它们的方差满足下式：
'
2 '?2
式中
]])'?['?[(],])?[?[( 22 '?22 EEEE (1.3.4)
则称 比 更有效。一般希望当 N→∞ 时,。02
'
数字信号处理 —— 时域离散随机信号处理
3,一致性 ——均方误差在许多情况下,比较两个有偏估计值是较麻烦的 。 偏移较小的估计值,可能有较大的方差,而方差较小的估计值可能有较大的偏移,此时使用与估计值有关的均方误差会更方便 。 估计量的均方误差用下式表示：
])?[(][ 22 EE
(1.3.5)
如果估计量的均方差随着观察次数的增加趋于 0,即估计量随 N
的加大,在均方意义上趋于它的真值,则称该估计是一致估计 。
估计量的均方误差与估计量的方差和偏移的关系推导如下：
数字信号处理 —— 时域离散随机信号处理
2
2
22
2
22
])]?[])(?[?[(2]])?[(])?[?[(
]]))?[(])?[?[((
])?[(]~[
B
EEEEEE
EEE
EE
(1.3.6)
上式表示,随 N的加大,偏移和估计量方差都趋于零,是一致估计的充分必要条件 。 通常对于一种估计方法的选定,
往往不能使上述的三种性能评价一致,此时只能对它们折衷考虑,尽量满足无偏性和一致性 。 下面讨论均值,方差,自相关函数的估计方法,均假设随机序列平稳且具有各态历经性,
集合平均可以用长时间的时间平均代替 。
数字信号处理 —— 时域离散随机信号处理
1.3.2 均值的估计假设已取得样本数据,xi(i=0,1,2,…,N-1),均值的估计量用下式计算：
1
0
1? N
i
ix xNm
(1.3.7)
式中 N是观察次数。 下面用已介绍的方法评价它的估计质量。
数字信号处理 —— 时域离散随机信号处理
1,偏移
1
0
1
0
][
11
][
]?[
N
i
xi
N
i
ix
xx
mxE
N
x
N
EmE
mEmB
（ 1.3.8）
因此 B=0,说明这种估计方法是无偏估计。
数字信号处理 —— 时域离散随机信号处理
2,
1
0
1
0
2
2
2222
][
1
]?[
]?[]])?[?[(
N
i
N
j
jix
xxxxm
xxE
N
mE
mmEmEmE
x
在计算上式时，与数据内部的相关性有关,先假设数据内部不相关,那么
][][][ jiji xExExxE?
222 1][1]?[
xix mN
NxE
NmE
2222
11][1
xxim NmNxENx
(1.3.9)
(1.3.10)
数字信号处理 —— 时域离散随机信号处理以上式表明,估计量的方差随观察次数 N增加而减少,当 Ν→∞
时,估计量的方差趋于 0。 这种情况下估计量的均方误差为
2?22 ]~[
xmx BmE
这样,当 N→∞ 时,B=0,，,是一致估计 。 结论是,当数据内部不相关时,按照 （ 1.3.7） 式估计均值,是一种无偏的一致估计,是一种好的估计方法 。
如果数据内部存在关联性,会使一致性的效果下降,估计量的方差比数据内部不存在相关情况的方差要大,达不到信号方差的 1/N。
0xm? 0]~[ 2?xmmE
数字信号处理 —— 时域离散随机信号处理
]])()[(])[([
1
)(
1
1
])?[(
1
0
1
0
1
0
2
2
2
1
0
2
2
1
0
22
N
in
n
xi
N
i
xn
N
i
xi
N
i
xi
N
i
xi
xxm
mxmxEmxE
N
mxE
N
mx
N
E
mmE
x
当序列的 n与 i相差 m时,E［ (xn-mx)(xi-mx)］ =cov(m),而 N点数据中相距 m点的样本有 N-m对,因此数字信号处理 —— 时域离散随机信号处理
N
m
N
mN
mmNN
N
N
m
x
x
N
m
m x
1
12
1
1
2
2
)(21
])c o v ()(2)0c o v ([
1
(1.3.11)
式中
)0c o v (
)c o v ()(),0c o v (2 mm
xx
上式表明当数据之间存在相关性时,按照 （ 1.3.7） 式估计均值,
其估计量的方差下降不到真值的 1/N。 也可将上式表示成
1
1
2
2
)(21
N
m
x
m
x
m
N
mN
N
x?
(1.3.12)
数字信号处理 —— 时域离散随机信号处理
1.3.3 方差的估计已知 N点样本数据 xi(i=0,1,2,…,N-1),假设数据之间不存在相关性,且信号的均值 mx已知,方差用下式估计：
1
0
22 )(1?
N
i
xix mxN?
(1.3.13)
可以证明这是一致估计,但实际中一般 mx是不知道的 。 下面分析数据之间不存在相关性,均值也不知道的情况下,方差的估计方法 。 方差估计用下式计算：
1
0
22 )?(1?
N
n
xnx mxN?
(1.3.14)
数字信号处理 —— 时域离散随机信号处理式中的均值估计值 用 （ 1.3.7） 式计算 。 下面分析它的偏移性,
按照上式,有
xm?
1
0
222 ]}?[2]?[][{1]?[
N
n
xnxnx mxEmExENE? (1.3.15)
式中的第二项已经推出,即 (1.3.9)式。 式中的第三项推导如下：
22
1
0
2
1
0
2
1
0
1
][
1
][][
1
][
1
][
1
][
1
1
]?[
xn
N
nm
m
mnn
N
nm
m
mnn
N
m
mnxn
m
N
N
xE
N
xExE
N
xE
N
xxE
N
xE
N
xxE
N
mxE
(1.3.16)
数字信号处理 —— 时域离散随机信号处理将 (1.3.9)式和 (1.3.16)式代入 (1.3.15)式,得到
2
2222
1
1
][
1
][]?[
x
xnnx
N
N
m
N
N
xE
N
xEE
上式表明,按照 （ 1.3.7） 式估计方差,是有偏估计,但是渐进无偏 。 为了得到无偏估计,可以用下式计算：
1
0
22 )?(
1
1'? N
n
xnx mxN?
（ 1.3.18）
之间的关系是2?
x? 和 2'?x?
22?
1'? xx N
N
（ 1.3.19）
数字信号处理 —— 时域离散随机信号处理将上式两边取统计平均值，并将（ 1.3.17）式代入,得到
22' ]?[ xxE
（ 1.3.20）
上式表明,按照 （ 1.3.18） 式估计方差,是无偏估计 。 另外可以证明它也是一致估计,证明从略 。
如果数据之间存在相关性,也按照 （ 1.3.18） 式进行计算方差,可以证明是有偏估计,但是渐近无偏估计,方差估计值的统计平均值如下式：
1
)(2
1]?[
1
122'
N
m
N
mN
E
N
m
x
xx
(1.3.21)
数字信号处理 —— 时域离散随机信号处理
1.3.4 随机序列自相关函数的估计
1,
估计公式为
)(?)(?
)()(
1
)(?
1
0
mrmr
mnxnx
mN
mr
xxxx
mN
n
xx
0≤m≤N-1
1-N<m<0
将上面两式写成一个表达式：
1||
0
)()(||1)(?
mN
n
xx mnxnxmNmr （ 1.3.22）
数字信号处理 —— 时域离散随机信号处理下面分析这种自相关函数的估计质量,首先分析偏移性：
)()](?[ mrmrEB xxxx
)()]()([||1)](?[
1||
0
mrmnxnxEmNmrE xx
mN
n
xx
（ 1.3.23）
因此,B=0,这是一种无偏估计。下面推导估计量的方差,
)]()()()([
|)|(
1
)](?[
)]()](?[])])(?[)(?[()](?v a r [
1||
0
1||
0
2
2
222
mkxkxmnxnxE
mN
mrE
mrmrEmrEmrEmr
mN
k
mN
n
xx
xxxxxxxxxx
（ 1.3.24）
数字信号处理 —— 时域离散随机信号处理为了分析简单,假设 x(n)是实的,均值为 0的高斯随机信号,求和号内的部分可以写成下式：
)()()()(
)()()()()(
)]()()()([
22
2
mnkrnmkrnkrmr
mnkrnmkrnkrnkrmr
mkxkxmnxnxE
xxxxxxxx
xxxxxxxxxx
(1.3.25)
)]()()([
|)|(
1
)](?v a r [
)]()()([
|)|(
1
)(
)](?[
2
1||
0
1||
0
2
2
1||
0
1||
0
2
2
2
mnkrnmkrnkr
mN
mr
mnkrnmkrnkr
mN
mr
mrE
xxxxxx
mN
k
mN
n
xx
xxxxxx
mN
k
mN
n
xx
xx
数字信号处理 —— 时域离散随机信号处理式中，令 r=k-n
此时求和域发生了变化,如图 1.3.2所示,根据变化后的求和域
(k,r),估计量的方差推导如下,
图 1.3.2 求和域的变化
n
k0
N － m － 1
N － m － 1
N － m － 1
N － m － 1
k
0
r
－ ( N － m － 1)
数字信号处理 —— 时域离散随机信号处理
|]|||)][()()([
|)|(
1
)]}()()([
)]()()([{
|)|(
1
)](?v a r [
2
1||
||1
2
2
1||1||
0
2
1||
0
0
||1
2
rmNmrrmrrrr
mN
mrrmrrrr
mrrmrrrr
mN
mr
xxxxxx
mN
Nmr
xxxxxx
mN
rk
mN
r
xxxxxx
mNr
kNmr
xx
(1.3.26)
一般观测数据量 N很大，
)()()(
|)|(
)](?v a r [
||||
1||||
2
1||
||1
2
mrrmrrrr
mN
N
mr
N
N
rm
NrmN
xxxxxx
mN
Nmr
xx
(1.3.27)
数字信号处理 —— 时域离散随机信号处理
2,有偏自相关函数的估计有偏自相关函数用 表示，计算公式如下：)(?' mr
xx
)()(1)(?
1||
0
' mnxnx
Nmr
mN
n
xx
(1.3.28)
对比 （ 1.3.22） 式,不同的是求平均时只用 N去除,这是不合理的,但下面可推导出它服从渐近一致估计的原则,比无偏自相关函数的估计误差小,因此以后需要由观测数据估计自相关函数时,均用上式进行计算 。 下面先分析它的偏移性 。
数字信号处理 —— 时域离散随机信号处理对比（ 1.3.22）式和 (1.3.28)式,无偏自相关函数与有偏自相关函数的关系式为
)(?||)(? '' mrN mNmr xxxx
（ 1.3.29）
因为 是无偏估计，因此得到)(?' mr
xx
)(||)](?[ ' mrN mNmrE xxxx
（ 1.3.30）
上式说明 是有偏估计，但是渐近无偏，其偏移为)(?' mr
xx
)(|| mrNmB xx? （ 1.3.31）
数字信号处理 —— 时域离散随机信号处理在 （ 1.3.30） 式中,的统计平均值等于其真值乘以三角窗函数 wB(m)（ 或称巴特利特窗函数 ）,
)(' mrxx
N
mNmw
B
||)( (1.3.32)
三角窗函数的波形如图 1.3.3所示 。 只有当 m=0时,才是无偏的,其它 m都是有偏的,但当 N→∞ 时,wB(m)→ 1,B→ 0,因此是渐近无偏 。
)(' mrxx
)(' mrxx
数字信号处理 —— 时域离散随机信号处理图 1.3.3 三角窗函数
－ N N
N
B
( m )
m0
1
数字信号处理 —— 时域离散随机信号处理按照（ 1.3.29）式,估计量的方差为
)](v a r [||)](v a r [ '
2
' mr
N
mNmr
xxxx
将（ 1.3.27）式代入上式,得到
)]()()([1)](v a r [ 2
1||
||1
' mrrmrrrr
Nmr xxxxxx
mN
Nmr
xx
(1.3.34)
显然,当 N→∞ 时,，并且
)](?v a r [)](?v a r [ '' mrmr xxxx?
由以上得到结论,虽然是有偏估计,但是渐近一致估计,
估计量的方差小于 的方差 。 因此实际中多用这种有偏自相关函数估计 。 注意,以后有偏自相关函数改用 表示 。
)(?' mrxx
)(?' mrxx
)(?' mrxx
0)](?v a r [ '?mr xx
数字信号处理 —— 时域离散随机信号处理
1.4 平稳随机序列通过线性系统
1.4.1 系统响应的均值,自相关函数和平稳性分析设所研究的线性系统是稳定非时变的,其单位脉冲响应为
h(n),输入是平稳随机序列 x(n),输出为
k
y
k
knxEkhnyEm
knxkhny
)]([)()]([
)()()(
因为输入是平稳随机序列,E［ x(n-k)］ =mx，故
k
xxy eHmnhmm )()(
0j
(1.4.1)
数字信号处理 —— 时域离散随机信号处理这样,mx与时间无关,my也与时间无关 。 先假定输出是非平稳的,
那么,输出的自相关函数为
)]()([)()(
)]()()()([
)]()(*[),(
**
**
rmnxknxErhkh
rmnxrhknxkhE
mnynyEmnnr
rr
rk
yy
因为 x(n)是平稳的，因此
)()]()([ * rkmrrmnxknxE xx
所以
)()()()(),( * mrrkmrrhkhmnnr yyxx
kk
yy
（ 1.4.2）
数字信号处理 —— 时域离散随机信号处理对于（ 1.4.2）式,令 l=r-k,得到
)()()()(
)()()()(
*
mvmrlvlmr
klhkhlmrmr
xx
l
xx
kl
xxyy
(1.4.3)
式中
k
klhkhlv )()()( *
(1.4.4)
v(l)通常称为 h(n)的自相关函数，也可以将 v(l)写成卷积形式：
v(l)=h*(l)*h(-l)=h*(-l)*h(l) (1.4.5)
上式表示 v(l)是 h*(l)与 h(-l)离散卷积或者是 h*(-l)和 h(l)的离散卷积 。
这样线性系统输出的自相关函数等于输入自相关函数与线性系统单位脉冲响应的自相关函数的卷积 。
数字信号处理 —— 时域离散随机信号处理
1.4.2 输出响应的功率谱密度函数设将（ 1.4.5）,(1.4.3)式分别写成 Z变换形式,表示如下,
*
*
*
*
1
)()()(
1
)()(
z
HzHzPzP
z
HzHzV
xxyy
(1.4.6)
(1.4.7)
将 z=ejω代入上式，得到输出功率谱：
Pyy (ejω)=Pxx(ejω)H(ejω)H*(ejω)=Pxx( ejω)|H(ejω)|2 (1.4.8)
如果 h(n)是实序列，（ 1.4.5）,(1.4.6),(1.4.7)式简化为数字信号处理 —— 时域离散随机信号处理
v(l)=h(l)*h(-l) (1.4.9)
V(z)=H(z)H(z-1) (1.4.10)
Pyy(z)=Pxx(z)H(z)H(z-1) (1.4.11)
下面利用 (1.4.8)式证明功率谱密度函数的非负性质 。
如果 mx=0,按照 （ 1.4.1） 式,my=0,再按照 (1.2.39)式和相关函数的性质 (2),得到
0d)e(π2 1)]([)0( jπ π2yyyy PnyEr
将 (1.4.8)式带入上式,得到
0d|)e(|)e(π2 1)0( 2jjπ π HPr xxyy
数字信号处理 —— 时域离散随机信号处理由于 Pxx(ejω)和 |H(ejω)|2均是 ω的偶函数,假设系统的幅度特性 |H
(ejω) |如图 1.4.1所示,因此
0)e(π1)0( j
dPr b
a
xxyy
故 Pxx(ejω)≥0,最后证明了信号的功率谱密度函数是实,偶,非负函数 。
数字信号处理 —— 时域离散随机信号处理图 1.4.1 理想带通滤波器的幅度特性
－?
b
－?
a
a
b
2
)(e
j?
H
1
0?
数字信号处理 —— 时域离散随机信号处理
1.4.3 系统的输入、
线性非时变系统输入与输出之间互相关函数为
)()()()(
])()()([)]()([)(
**
mrmhkmrkh
kmnxkhnxEmnynxEmr
xx
k
xx
k
xy
(1.4.12)
因此,输入,输出之间的互相关函数等于系统的单位脉冲响应与输入自相关函数的卷积 。 一般称 (1.4.12)式为输入,输出互相关定理 。 设 x(n)是另均值平稳随机序列,（ 1.4.12） 式的 Z变换为
)()()( zPzHzP xxxy?
(1.4.13)
输入、输出的功率谱表示为
)e()e()e( jj xxjxy PHP?
(1.4.14)
数字信号处理 —— 时域离散随机信号处理
1.4.4
将前面推导出的（ 1.4.3）式和 (1.4.4)式重写如下：
)()()(
)(*)()()()(
*
kmhkhmv
mvmrlvlmrmr
k
l
xxxxyy
该公式用语言叙述如下,x(n)与 h(n)卷积的自相关函数等于 x(n)的自相关函数和 h(n)的自相关函数的卷积 。 或者简单地说,卷积的相关等于相关的卷积 。 用一般公式表示如下：
如果 e(n)=a(n)*b(n)
f(n)=c(n)*d(n)
那么 r
ef(m)=rac(m) * rbd(m) (1.4.15)
数字信号处理 —— 时域离散随机信号处理例 1.4.1 假设系统的输入,输出和单位脉冲响应分别用 x(n)、
y(n)和 h(n)表示,试求输入,输出互相关函数和输入自相关函数之间的关系 。
解 按照相关卷积定理，得到
x(n)=x(n)*δ(n)
y(n)=x(n)*h(n)
rxy(m)=rxx(m)*rδh(m)
式中
t
h mhlmhlmr )()()()(
数字信号处理 —— 时域离散随机信号处理将该式带入上式,得到
rxy(m)=rxx(m) * h(m)
这就是已经推导出的输入,输出互相关卷积定理 。 对于实,平稳随机信号相关函数的性质 (1),得到输出,输入互相关函数和输入自相关函数之间的关系：
ryx(m)=rxy(-m)=rxx(-m)*h(-m)=rxx(m)*h(-m)
Pyx(z)=Pxx(z)H(z-1)
数字信号处理 —— 时域离散随机信号处理例 1.4.2 按照图 1.4.2推导两个系统的输出互相关函数与输入互相关函数之间的关系 。
解 y1(n)=x1(n)*h1(n)
y2(n)=x2(n)*h2(n)
按照相关卷积定理,有
)(
*
1
)()(
)()()()()()()(
)()()(
2
*
1
2
*
12
*
12
*
1
2121
21
212121
zH
z
HzPzP
mhmhnmhnhmnhnhmr
mrmrmr
xxyy
nn
hh
hhxxyy
(1.4.16)
数字信号处理 —— 时域离散随机信号处理
H
1
( z )
H
2
( z )
x
1
( n )
x
2
( n )
y
1
( n )
y
2
( n )
图 1.4.2 例 1.4.2图数字信号处理 —— 时域离散随机信号处理按照图 1.4.2还有下面关系式,作为练习,请读者自己证明。
*
*
2
2
*
*
1
1
1
)()(
)()()(
1
)()(
)()()(
1212
2121
2121
1212
z
HzPzP
zHzPzP
z
HzPzP
zHzPzP
yxyy
xyyy
xxxy
xxyx
(1)
(2)
(1.4.17)
(1.4.18)
(1.4.19)
(1.4.20)
数字信号处理 —— 时域离散随机信号处理例 1.4.3 已知实平稳白噪声 x(n)的功率谱是 σ2x,使通过一个 q
阶的 FIR网络 (对这里 q阶的解译,请参考本章 1.5节 ),求输出自相关函数 ryy(m),功率谱 Pyy(ejω),互相关函数 rxy(m) 和互谱
Pxy(ejω)。
解 设系统的传输函数用下式表示：
q
n
n
n zbzH
0
)(
式中系数 bn是实数，按照（ 1.4.8）式，网络输出的功率谱为数字信号处理 —— 时域离散随机信号处理
])c o s ([
)s i n ()c o s (
e
|)e(|)e()e(
0 00
22
2
0
2
0
2
2
0
nj-2
2jjj
q
jn
n
q
j
jn
q
n
nx
q
n
n
q
n
nx
q
n
nx
xxyy
jnbbb
nbnb
b
HPP
数字信号处理 —— 时域离散随机信号处理因为 δ(n)的傅里叶变换是 1,δ(n+m)+δ(n-m)的傅里叶变换是 2 cos(ωm),那么对上式进行反变换,得到
)()(
2
)()(
0 0
2
0
22 njmnjmbbmbmr
q
jn
n
q
j
jn
x
q
n
nxyy
上式表明输出信号的自相关函数 ryy(m)有限长,存在于 ± q之间 。
类似地,可求出互谱和互相关函数为
q
k
xy
q
n
q
n
nnxxy
bknxE
mnynxEmr
nbjnbbP
0
1 1
0
2j
)([
)]()([)(
)s in ()c o s ()e(
数字信号处理 —— 时域离散随机信号处理例 1.4.4 设实平稳白噪声 x(n)的方差是 σ2x,均值 mx=0,让 x(n)
通过一个网络,
y(n)=x(n)+ay(n-1)
式中 a是实数 。 求网络输出的功率谱和自相关函数 。
解 先用归纳法求网络输出的自相关函数
ryy(m)=E［ y(n)y(n+m)］
令 m=0,则
ryy(0)=E［ y2(n)］ =E［ (x(n)+ay(n-1))2
ryy(0)=E［ x2(n)］ +a2E［ y2(n-1)］ +2aE［ x(n)y(n-1)］
数字信号处理 —— 时域离散随机信号处理上式中 y(n-1)发生在 x(n)之前,它只和 x(n-1),x(n-2),…有关,而且 x(n)是白噪声,x(n)和 x(n-1)x(n-2),… 无关,因此上式中的第三项等于 0,那么
2
2
22
1
)0(
)0()0(
a
r
rar
x
yy
yyxyy
令 m=1，则
ryy(1)=E［ y(n)y(n+1)
ryy(1)=E［ y(n)(ay(n)+x(n+1))］ =aryy(0)
数字信号处理 —— 时域离散随机信号处理令 m=2,则 r
yy(2)=E［ y(n)y(n+2)
=E［ y(n)(ay(n+1)+x(n+2))
=aryy(1)=a2ryy(0)
总结规律，因此有
2
21)0()( x
m
yy
m
yy a
aramr?
下面再求网络输出的功率谱,由给定的网络差分方程,得到网络系统函数
11
1)(
azzH
数字信号处理 —— 时域离散随机信号处理网络输出功率谱为
c o s21e1
1|)e(|)e()e(
2
22
j-
22jjj
aaaHPP
x
xxxyy
式中,a是网络的极点,为了稳定,要求 |a|＜ 1。 a愈接近于单位圆,
功率谱峰愈尖锐,带宽愈窄,但相关函数衰减愈慢；反过来,a
愈小,功率谱下降愈慢,自相关函数衰减愈加快 。
数字信号处理 —— 时域离散随机信号处理
1.5 时间序列信号模型图 1.5.1 平稳随机序列的信号模型
H ( z )
w ( n ) x ( n )
数字信号处理 —— 时域离散随机信号处理
1.5.1 三种时间序列模型假设信号模型用一个 P阶差分方程描述,
x(n)+a1x(n-1)+…+apx(n-p)
=w(n)+b1w(n-1)+…+ bqw(n-q) (1.5.1)
式中,w(n)是零均值,方差为 σ2w的白噪声 ; x(n)是我们要研究的随机序列 。 根据系数取值情况,将模型分成以下三种 。
数字信号处理 —— 时域离散随机信号处理
1,滑动平均模型 （ Moving Average,简称 MA模型 ）
当 （ 1.5.1） 式中 ai=0,i=1,2,3,…,p时,该模型称为 MA模型 。
模型差分方程和系统函数分别用下式表示：
x(n)=w(n)+b1w(n-1)+…+bqw(n-q)
H(z)=B(z)
B(z)=1+b1z-1+b2z-2+…+ bqz-q…
(1.5.2)
(1.5.3)
上式表明该模型只有零点,没有除原点以外的极点,因此此模型也称为全零点模型 。 如果模型全部零点都在单位圆内部,则是一个最小相位系统,且模型是可逆的 。
数字信号处理 —— 时域离散随机信号处理
2,自回归模型 （ Autoregressive,简称 AR模型 ）
当 （ 1.5.1） 式中 bi=0,i=1,2,3,…,q时,该模型称为 AR模型 。 模型差分方程和系统函数分别用下式表示：
x(n)+a1x(n-1)+a2x(n-2)+…+ apx(n-p)=w(n)
)(
1)(
zAzH?
A(z)=1+a1z-1+a2z-2+…+ apz-p
上式表明该模型只有极点,没有除原点以外的零点,因此该模型也称为全极点模型 。 只有当全部极点都在单位圆内部时,
模型才稳定 。
数字信号处理 —— 时域离散随机信号处理
3,自回归 -滑动平均模型（简称 ARMA模型）
该模型的差分方程用（ 1.5.1）式描述,系统函数用下式表示：
p
i
i
i
q
i
i
i
za
zb
zA
zB
zH
1
1
1
1
)(
)(
)(
式中,分子部分称为 MA部分,分母部分称为 AR部分,这两部分无公共因子,应分别满足稳定性和可逆性的条件 。
数字信号处理 —— 时域离散随机信号处理关于滤波器的长度和阶数作如下说明：滤波器长度一般是指滤波器的单位脉冲响应的长度,对于 FIR滤波器或者 MA模型,其单位脉冲响应的长度是有限长的,长度就是系数的个数；
对于 IIR滤波器或者 AR模型,ARMA模型,其单位脉冲响应的长度则是无限长的,一般只讲它的阶数,阶数是指 （ 1.5.5）,
(1.5.6)式中的 p的大小,如果用差分方程表示,则 p就是差分方程的阶数 。 对于 FIR滤波器或者 MA模型的阶数,则是指
（ 1.5.3） 式中 q的大小,或者说是它的长度减 1。
数字信号处理 —— 时域离散随机信号处理
1.5.2 三种时间序列信号模型的适应性
(1) 沃尔德分解定理：
任意一个实平稳随机序列 x(n) 均可以分解成,x(n)
=u(n)+v(n),式中 u(n)是确定性信号,v(n)是具有连续谱分布函数的平稳随机 MA序列 。 这里确定性部分可以不存在或者事先去掉,MA部分常常是有限阶的 。
该定理说明 MA信号模型具有普遍使用的性质 。 由于
ARMA信号模型包含了 MA模型部分,因此 ARMA信号模型也具有普遍使用的性质 。 对于 AR信号模型的适用性,下面予以说明 。
数字信号处理 —— 时域离散随机信号处理
（ 2） 任意一个 MA序列可用无限阶 AR信号模型表示,或者用阶数足够大的 AR信号模型近似表示 。 证明如下：
设 MA序列为
)()(
0
inwbnx
i
i
b0=1
对上式进行 Z变换得到
X(z)=B(z)W(z)
式中,B(z)是 MA信号模型的系统函数,或者说是 bi(i=1,2,3,…)
序列的 Z变换 。
设 MA信号模型满足可逆性条件,即 B-1(z)存在,令
B-1(z)=G(z)=1+g1z-1+g2z-2+…
数字信号处理 —— 时域离散随机信号处理这样
X(z)G(z)=(1+g1z-1+g2z-2+…) X(z)=W(z)
)(1 1)( 2
2
1
1
zWzgzgzX
对上式进行 Z反变换，得到
x(n)+g1x(n-1)+g2x(n-2)+…= w(n)
上式表示的就是 x(n)的 AR信号模型差分方程,因此证明了一个时间序列可以用有限阶 MA信号模型表示时,也可以用无限阶的 AR模型表示,对于 ARMA模型也同样可以证明 。
数字信号处理 —— 时域离散随机信号处理例如,ARMA模型系统函数为
1
1
1
1)(
az
bzzH
设 AR模型系统函数用 HAR(z)表示：
1
AR
1
1)(
i
i
i zc
zH
令 HAR(z)=H(z),即
1
1
1
1
1
11
bz
azzc
i
i
可以求出 ci系数
1))((
01
1
1
}{,
1
1
1
1
1
1
0
1
1
ibba
i
c
bz
az
TZc
bz
az
zc
i
i
i
i
i
i
数字信号处理 —— 时域离散随机信号处理以上说明 MA和 ARMA模型可以用无限阶 AR模型表示 。 反过来的结论也正确 。
例如：
1
1
1
1)(
az
bzzH
用 MA模型表示：
1
1
1
1
0
1
1
MA
))((
1
1
1
T,
1
1
)(
ii
i
i
i
i
aab
d
az
bz
Zd
az
bz
zdzH
i=0
i≥1
数字信号处理 —— 时域离散随机信号处理以上表明三种信号模型可以相互转化,而且都具有普遍适用性,但是对于同一时间序列用不同信号模型表示时,却有不同的效率 。 这里说的效率,指的是模型的系数愈少,效率愈高 。
一般 AR模型适合表示时间序列的功率谱有尖峰而没有深谷的信号,MA模型适合表示其功率谱有深谷而没有尖峰的信号,
ARMA模型则适合尖峰和深谷都有的情况 。 如果信号的功率谱有尖峰而没有深谷,用具有极点的 AR模型表示将比用 MA模型表示用的系数少,即效率高 。 但 AR模型比较其它两种模型计算简单,许多研究人员喜欢采用 AR模型,只要阶数选高些,近似性较好 。
数字信号处理 —— 时域离散随机信号处理
1.5.3 自相关函数、功率谱与时间序列信号模型的关系
1,有理谱信号如果信号模型输出的功率谱是 ejω或者 cosω的有理函数,这种随机信号称为有理谱信号 。 分析 (1.5.7)式,如果 zi是 H(z)的极点,z-1i就是 H(z-1)的极点,Pxx(z)一定包含下面的因子：
(z-zi)(z-1-zi)=1- zi(z+z-1)+z2i
上式表示 H(z)H(z-1)是 (z+z-1)的函数,设该函数用 V(φ)表示,可以写成下式：
H(z)H(z-1)=V(φ)
)(21 1 zz?
)()( 2 VzP xx?
数字信号处理 —— 时域离散随机信号处理令 z=ejω，得到
)( c o s)e( 2 VP wjxx?
上式说明有理谱信号的功率谱是 ejω或者 cosω的有理函数。
数字信号处理 —— 时域离散随机信号处理
2,谱分解定理如果功率谱 Pxx(ejω)是平稳随机序列 x(n)的有理谱,那么一定存在一个零极点均在单位圆内的有理函数 H(z),
p
k
k
q
k
k
p
k
k
k
q
k
k
k
z
z
za
zb
zA
zB
zH
1
1
1
1
0
0
)1(
)1(
)(
)(
)(
满足
)()()( 12 zHzHzP wxx? 02?w?
式中,ak,bk都是实数,a0=b0=1,且 |αk|＜ 1,|βk|＜ 1。
数字信号处理 —— 时域离散随机信号处理我们知道系统函数的极点只能分布在单位圆内部,才能构成因果稳定的系统,而零点分布不影响系统的因果稳定性 。 单位圆上可以有零点但不能有极点,否则极点在单位圆上会使系统不稳定 。 这样我们总可以用单位圆内部的零极点组成一个系统 H(z)（ 该系统自然是最小相位系统 ）,又因为系统系数是实数,圆外的零极点必定与圆内的零极点共轭对称 。 这样除了单位圆内部零极点外,用其它零极点组成的系统函数必定是 H(z-1)。
这是谱分解定理的一种解释,定理证明请参考文献 ［ 1］ 。 下面用例子说明 。
数字信号处理 —— 时域离散随机信号处理例 1.5.1 已知有理谱如下式：
)5.0e)(5.0e(
)2.0e)(2.0e()e(
j-j
-jj
j
xxP
)()()5.0z)(5.0( )2.0z)(2.0()( 121-
1-
zHzH
z
zzP
wxx?
我们把所有可能的分解形式写出来：
(1)
5.0
2.0)(
z
zzH
(2)
5.0
2.01)(
z
zzH
数字信号处理 —— 时域离散随机信号处理
(3)
z
zzH
5.01
2.0)(
(4)
z
zzH
5.01
2.01)(
在以上四种分解情况中,只有 （ 1） 满足极零点均在单位圆内部,因此按照谱分解定理的约束条件,只能唯一地分解出一个零极点均在单位圆内部的系统函数 。 如果没有零极点均在单位圆内部的约束条件,分解便不是唯一的 。 另外,按照谱分解定理分解出 H(z)一定是最小相位系统,它保证了模型的可逆性,即逆系统存在 。
数字信号处理 —— 时域离散随机信号处理例 1.5.2 已知一阶 AR模型：
x(n)-ax(n-1)=w(n) 0＜ a＜ 1
式中,w(n)是零均值,方差 σ2w=1的白噪声,设 x(0)=0,试求与其等价的自相关函数和功率谱 。
解
x(n)=w(n)+ax(n-1)
=w(n)+a［ w(n-1)+ax(n-2)
= w(n) +aw(n-1)+a2x(n-2)
= w(n) +aw(n-1)+a2w(n-2)+…+ an-1w(1)
数字信号处理 —— 时域离散随机信号处理
2
2
)1(22
1
1
1
1
) ] }1()1()({[
) ] }1()1()({[
)]()([)(
a
a
a
aaa
wamnawmnwE
wanawnwE
mnxnxEmr
n
m
nmmm
mn
n
xx
因为 0＜ a＜ 1,当 n很大时,a2n→ 0,而对实序列,rxx(m)=rxx(-m),这样得到自相关函数,
2
||
1
)(
a
amr m
xx
数字信号处理 —— 时域离散随机信号处理对上式进行 Z变换得到其功率谱
)1)(1(
1)(
1 azazzP xx
如果由模型直接求功率谱,然后由功率谱再求其自相关函数,
将更简单 。 由模型差分方程得到其系统函数为
2
||
1
1
12
1
1
)]([T)(
)1)(1(
1
)()()(
1
1
)(
a
a
zPZmr
azaz
zHzHzP
az
zH
m
xxxx
wxx
数字信号处理 —— 时域离散随机信号处理该例说明了功率谱,自相关函数和信号模型之间的相互等价关系 。
我们知道功率谱是 cosω的函数,为了对功率谱进行谱分解,
下面介绍一种分解方法：
（ 1） 用 φ代替 cosω,得到有理函数 V(φ)
（ 2） 求出 V(φ)分子,分母的全部根 φi;
（ 3） 构造对每个 φi的方程,
izz
)(
2
1 1
该方程有两个根,Zi和 1/ Zi,其中 Zi是单位圆内的根；
数字信号处理 —— 时域离散随机信号处理
（ 4） 用单位圆内部极零点构成 H(z),零点是分子多项式的根 Zi,极点是分母多项式的根 Zj，
j
j
i
i
zz
zz
CzH
)(
)(
)(
常数 C由功率谱 Pxx(ejω)确定。
数字信号处理 —— 时域离散随机信号处理例 1.5.3 已知 x(n)的功率谱
c o s610
c o s45)e( j ω
xxP
求其模型的系统函数。
解
（ 1） 令 φ=cosω，则
610
45)(
V
(2)
6
10
,0610
4
5
,045
2
1
数字信号处理 —— 时域离散随机信号处理
(3)
21,21,45)(21
1
1
1
zzzz
31,31,610)(21
2
2
1
zzzz
数字信号处理 —— 时域离散随机信号处理
(4)
c o s610
c o s45
4
9
3
1
e
2
1
e
3
1
e
2
1
e
)e()e(
3
1
3
1
2
1
2
1
)()(,
3
1
2
1
)(
2
j-
j-
j
j
2j-j
1
1
21
CCHH
zz
zz
CzHzH
z
z
CzH
设 σ2w=1，对比给定的功率谱，得到,C=2/3,模型系统函数为
1
1
3
1
1
2
1
1
3
2
)(
z
z
zH
数字信号处理 —— 时域离散随机信号处理也可以假定 σ2w=4/9，此时模型系统函数为
1
1
3
1
1
2
1
1
)(
z
z
zH
这样得到的模型系统函数的常数因子不同,但我们知道系统函数的全部特性决定于其零极点的分布情况,常数因子仅影响其幅度大小,不影响问题实质 。
数字信号处理 —— 时域离散随机信号处理习 题
1,将零均值与方差为 σ2x的白噪声通过一线性系统,其传递函数为 H(z),试求此系统输出的方差 σ2y。 若
101 1)( 1 aazzH
22 / xy 为何?
数字信号处理 —— 时域离散随机信号处理
2,已知 y1(n)=x1(n)*h1(n),y2(n)=x2(n)*h2(n)，证明：
(1)
)(1)()( 2**1
2121
ZHzHZPZP xxyy
(2) )()()(
11212 ZHZPZP xxyx
(3)
**1 1)()( 2121 zHZPZP xxxy
(4)
)()()( 22121 ZHZPZP yyyy
数字信号处理 —— 时域离散随机信号处理
3,证明用式：
)()(1)(? *
1||
0
mnxnx
N
mr
mN
n
xx
数字信号处理 —— 时域离散随机信号处理
4,已知一个二阶 AR 模型,其差分方程为 x(n)-0.6x(n-
1)+0.08x(n-2)=ω(n),其中 ω(n)是均值为零,方差为 σ2ω的白噪声,
求 H(z),rxx(m),Pxx(z)。
5,设一 AR(3)模型为 xn+0.9xn-1-0.36xn-2+0.145xn-3=ωn,求与其等价的 ARMA(1,1)模型的参数 。
6,一平稳随机信号 xn具有有理功率谱密度,σ2ω=1,
)(5.025.1
)(6.018.2)(
1
1
zz
zzzP
xx
求信号模型。
数字信号处理 —— 时域离散随机信号处理
7,设平稳随机信号 xn
(1) rxx(k)=0.5|k| 所有 k
(2) rxx(k) =0.5|k|+(-0.5)|k| 所有 k
试求产生此信号的模型 。
8,用一个无穷阶 MA(∞)模型 HMA(z)=d(0)+d(1)z-1+d(2)z-1+…
来近似
1
1
1
1)(
az
bzzH
求出 d(k),k=0,1,… 。
数字信号处理 —— 时域离散随机信号处理
9,已知有理谱 Pxx(ejω)如下式：
c o s25.1
c o s4.004.1)e(
j
xxP
求相应的信号模型系统函数。
1.1 引言
1.2 时域离散随机信号的统计描述
1.3 随机序列数字特征的估计
1.4 平稳随机序列通过线性系统
1.5 时间序列信号模型数字信号处理 —— 时域离散随机信号处理
1.1 引 言信号有确定性信号和随机信号之分 。 所谓确定性信号,就是信号的幅度随时间的变化有一定的规律性,可以用一个明确的数学关系进行描述,是可以再现的 。 而随机信号随时间的变化没有明确的变化规律,在任何时间的信号大小不能预测,因此不可能用一明确的数学关系进行描述,但是这类信号存在着一定的统计分布规律,它可以用概率密度函数,概率分布函数,
数字特征等进行描述 。
数字信号处理 —— 时域离散随机信号处理实际中的随机信号常有四种形式：
（ 1） 连续随机信号,时间变量和幅度均取连续值的随机信号 。
（ 2） 时域离散随机信号 (简称随机序列 ),时间变量取离散值,
而幅度取连续值的随机信号 。
（ 3） 幅度离散随机信号：幅度取离散值,而时间变量取连续值的随机信号 。 例如随机脉冲信号,其取值只有两个电平,不是高电平就是低电平,但高低电平的选取却是随机的 。
（ 4） 离散随机序列 (也称为随机数字信号 ),幅度和时间变量均取离散值的信号。
数字信号处理 —— 时域离散随机信号处理利用计算机只能处理随机数字信号 。 本书中针对时域离散随机信号展开分析与讨论 。 对于随机数字信号,需要增加量化效应的分析,但随着计算机位数的不断增多,量化效应逐渐不明显；为简单起见,本书中有时也将这种信号简称为随机序列 。
数字信号处理 —— 时域离散随机信号处理随机信号 X(t)是由它所有可能的样本函数集合而成的,样本函数用 xi(t),i=1,2,3,…表示 。 例如,图 1.1.1表示的是 n部接收机的输出噪声电压,图中 xn(t)表示第 n部接收机的输出噪声,称为第 n条样本曲线 。 如果对随机信号 X(t)进行等间隔采样,或者说将 X(t) 进行时域离散化,得到 X(t1),X(t2),X(t3),…,所构成的集合称为时域离散随机信号 。 用序号 n取代 tn,随机序列用 X(n)表示 。 换句话说,随机序列是随 n变化的随机变量序列 。 图 1.1.2表示的就是图 1.1.1随机信号经过时域离散化形成的随机序列 。 相应的 xi(n),i=1,2,3,…，
称为样本序列,它们是 n的确定性函数 。 样本序列也可以用 xn表示 。 而 X(t1),X(t2),X(t3),… 或者 X(1),X(2),X(3),… 则都是随机变量 。 因此随机序列兼有随机变量和函数的特点 。 这里要注意,X(n)
与 xi(n)分别表示不同的含义 (n,i=1,2,3,…),大写字母表示随机序列或者随机变量,小写字母表示样本序列 。 但在本书以后的章节中,为简单起见,也用小写字母 x(n)或 xn表示随机序列,只要概念清楚,会分清楚何时代表随机序列,何时代表样本函数 。
数字信号处理 —— 时域离散随机信号处理图 1.1.1 n部接收机的输出噪声
x
1
( t )
x
2
( t )
x
n
( t )
t
t
tt
1
t
n
数字信号处理 —— 时域离散随机信号处理图 1.1.2 n部接收机输出噪声的时域离散化
x
1
( n )
x
2
( n )
x
n
( n )
n
n
n
数字信号处理 —— 时域离散随机信号处理
1.2 时域离散随机信号的统计描述
1.2.1 时域离散随机信号 （ 随机序列 ）
1.
对于随机变量 Xn,其概率分布函数用下式描述：
)(),( nnnX xXPnXF n
(1.2.1)
式中 P表示概率。
数字信号处理 —— 时域离散随机信号处理
2.
如果 Xn取连续值，其概率密度函数用下式描述：
n
nX
nX x
nxFnxp
n
n?
),(),(
上面 (1.2.1)和 (1.2.2)式分别称为随机序列的一维概率分布函数和一维概率密度函数,它们只描述随机序列在某一 n的统计特性 。
而对于随机序列,不同 n的随机变量之间并不是孤立的,为了更加完整地描述随机序列,需要了解二维及多维统计特性 。
数字信号处理 —— 时域离散随机信号处理二维概率分布函数,
),(),,,(,mmnnmnXX xXxXPmxnxF mn(1.2.3)
对于连续随机变量,其二维概率密度函数为
mn
mnXX
mnXX xx
mxnxFmxnxp
mn
mn
),,(),,(,,2
,,
(1.2.4)
以此类推,N维概率分布函数为
),,,(),,2,,1,( 221121,,21 NNNXXX xXxXxXPxxxF N
数字信号处理 —— 时域离散随机信号处理对于连续随机变量,其 N维概率密度函数为
N
NXXX
N
NXXX xxx
NxxxFNxxxp
N
N
21
21,,,
21,,,
),,,2,,1,(),,,2,,1,(
21
21
概率分布函数能对随机序列进行完整的描述,但实际中往往无法得到它 。 为此,引入随机序列的数字特征 。 在实际中,
这些数字特征比较容易进行测量和计算,知道这些数字特征也足够用了 。 常用的数字特征有数学期望,方差和相关函数 。
数字信号处理 —— 时域离散随机信号处理
1.2.2
1,数学期望 (统计平均值 )
随机序列的数学期望定义为
xnxpnxnxEnm nxx d),()()]([)( (1.2.7)
式中 E表示求统计平均值 。 由上式可见,数学期望是 n的函数,
如果随机序列是平稳的,则数学期望是常数,与 n无关 。
数字信号处理 —— 时域离散随机信号处理
2,均方值与方差随机序列均方值定义为
xnxpnxXE nxn d),(|)(|]|[| 22
(1.2.8)
随机序列的方差定义为
]|)([|)( 22 nmXEn xnx (1.2.9)
可以证明，上式也可以写成下式,
)(]|[|)( 222 nmXEn xnx
(1.2.10)
数字信号处理 —— 时域离散随机信号处理一般均方值和方差都是 n的函数,但对于平稳随机序列,它们与 n无关,是常数 。 如果随机变量 Xn代表电压或电流,其均方值表示在 n时刻消耗在 1 Ω电阻上的集合平均功率,方差则表示消耗在 1Ω电阻上的交变功率的集合平均 。 有时将 σx称为标准方差 。
数字信号处理 —— 时域离散随机信号处理
3,随机序列的相关函数和协方差函数我们知道,在随机序列不同时刻的状态之间,存在着关联性,或者说不同时刻的状态之间互相有影响,包括随机序列本身或者不同随机序列之间 。 这一特性常用自相关函数和互相关函数进行描述 。
自相关函数定义为
mnmnXXmnmnxx dxdxmxnxpxxXXEmnr mn ),,,(][),(,
**
(1.2.11)
数字信号处理 —— 时域离散随机信号处理自协方差函数定义为
)](*),[(],c o v [ mn XmXnmn mXmXEXX
(1.2.12)
式中的,*”表示复共轭。 上式也可以写成
mn XXxxmn mmmnrXX
*),(),c o v ( (1.2.13)
对于零均值随机序列,mXn= mXm=0,则
),(),co v ( mnrXX xxmn?
这种情况下,自相关函数和自协方差函数没有什么区别。
数字信号处理 —— 时域离散随机信号处理对于两个不同的随机序列之间的关联性,我们用互相关函数和互协方差函数描述 。
互相关函数的定义为
mnmnYXmnmnxy dydxmynxpyxYXEmnr mn ),,,(][),(,
**
式中 pXn,Ym(xn,n,ym,m)表示 Xn和 Ym的联合概率密度 。
互协方差函数定义为
mn
mn
YXxy
YmXnmn
mmmnr
mYmXEYX
*
*
),(
)]()[(),c o v (
同样,当 mXn=mYm =0时，
cov(Xn,Ym)=rxy(n,m)
数字信号处理 —— 时域离散随机信号处理
1.2.3
在信息处理与传输中,经常遇到一类称为平稳随机序列的重要信号 。 所谓平稳随机序列,是指它的 N维概率分布函数或 N
维概率密度函数与时间 n的起始位置无关 。 换句话说,平稳随机序列的统计特性不随时间的平移而发生变化 。 如果将随机序列在时间上平移 k,其统计特性满足下式：
),,,2,,1,(
),,,2,,1,(
21,,,
21,,,
21
21
NxxxF
kNxkxkxF
NXXX
kNkkkXkXkX
N
N
(1.2.16)
数字信号处理 —— 时域离散随机信号处理这类随机序列就称为平稳随机序列 。 经常将上面这类随机序列称为狭义 (严 )平稳随机序列,这一严平稳的条件在实际情况下很难满足 。 许多随机序列不是平稳随机序列,但是它们的均值和均方差却不随时间而改变,其相关函数仅是时间差的函数 。 一般将这一类随机序列称为广义 (宽 )平稳随机序列 。
下面我们重点分析研究这类平稳随机序列 。 为简单起见,将广义平稳随机序列简称为平稳随机序列 。
数字信号处理 —— 时域离散随机信号处理平稳随机序列的一维概率密度函数与时间无关,因此均值,
方差和均方值均与时间无关,它们可分别用下式表示：
]|[|]|[|
]|[|]|[|
)]([)]([
222
22
xmnxnx
mnn
x
mxEmxE
XEXE
mnxEnxEm
(1.2.17)
(1.2.18)
(1.2.19)
二维概率密度函数仅决定于时间差,与起始时间无关；自相关函数与自协方差函数是时间差的函数 。 自相关函数 rxx(m)与自协方差函数 covxx(m)分别用下式表示,
)](*)[()(c o v
][)( *
xmnxnxx
mnnxx
mXmXEm
XXEmr
(1.2.20)
(1.2.21)
数字信号处理 —— 时域离散随机信号处理对于两个各自平稳且联合平稳的随机序列,其互相关函数为
][),()( * mnnxyxy YXEmnnrmr
(1.2.22)
显然,对于自相关函数和互相关函数,下面公式成立,
)()(
)()(
*
*
mrmr
mrmr
yxxy
xxxx
(1.2.23)
(1.2.24)
如果对于所有的 m,满足公式,rxy(m)=0,则称两个随机序列互为正交 。 如果对于所有的 m,满足公式,rxy(m)=mxmy,covxy
(m)=0,则称两个随机序列互不相关 。
数字信号处理 —— 时域离散随机信号处理实平稳随机序列的相关函数,协方差函数具有以下重要性质：
（ 1） 自相关函数和自协方差函数是 m 的偶函数,用下式表示,
)(c o v)(c o v),()(
)(c o v)(c o v),()(
mmmrmr
mmmrmr
yxxyyxxy
xxxxxxxx
(1.2.25)
(1.2.26)
（ 2）
][)0( 2nxx XEr? (1.2.27)
rxx(0)数值上等于随机序列的平均功率。
数字信号处理 —— 时域离散随机信号处理
（ 3）
|)(|)0( mrr xxxx?
（ 4）
2)(l im xxx
m mmr
yxxym mmmr )(l i m
(1.2.29)
(1.2.30)
上式说明大多数平稳随机序列内部的相关性随着时间差的变大，
愈来愈弱。
（ 5） 22 )0(c o v,)()(c o v
xxxxxxxx mmrm
(1.2.31)
数字信号处理 —— 时域离散随机信号处理
1.2.4 平稳随机序列的功率密度谱我们知道,平稳随机序列是非周期函数,且是能量无限信号,
无法直接利用傅里叶变换进行分析 。 但自相关函数也是非周期序列,却随着时间差 m的增大,而趋近于随机序列的均值 。 如果随机序列的均值为 0,即 mx=0,rxx(m)是收敛序列,其 Z变换用
Pxx(z)表示如下,
m
xxxx zmrzP
)()(
(1.2.32)
且
c mxxxx zzzPjmr d)(2 1)( 1?
(1.2.3３ )
数字信号处理 —— 时域离散随机信号处理将 (1.2.23)式进行 Z变换，得到：
** 1)( zPzP xxxx
(1.2.34)
如果 z1是其极点,1/z*1也是极点 。 如果 z1在单位圆内,必须在单位圆外,收敛域一定包含单位圆,Pxx(z)的收敛域有以下形式：
*11?z
1|| aa RzR 0≤Ra≤1
类似地,互相关函数的 Z变换用 Pxy(z)表示,有
m
xyxy zmrzP )()(
(1.2.35)
数字信号处理 —— 时域离散随机信号处理
** 1)( zPzP yxxy
(1.2.36)
由于 Pxx(z)的收敛域包含单位圆,因此 rxx(m)的傅里叶变换存在 。 令 z=exp(jω),代入 (1.2.32)式,有
mj
xxxx mrP
e)()e( j
(1.2.37)
de)(e2 1)( - njjxx mr
(1.2.38)
将 m=0代入上式，得到
d)(e2 1)0( - jxxxx Pr
(1.2.39)
数字信号处理 —— 时域离散随机信号处理
（ 1） 功率谱是 ω的偶函数：
)()( xxxx PP (1.2.40)
功率谱是 ω的偶函数这一结果,可直接由自相关函数是时间差的偶函数证明 。 由于功率谱和自相关函数都是实,偶函数,
它们还可以表示为
0
j )c o s ()(2)e(
m
xxxx mmrP?
d)c o s ()e(1)(
0
mPmr jxxxx
(1.2.41)
(1.2.42)
数字信号处理 —— 时域离散随机信号处理
（ 2） 功率谱是实的非负函数,即
Pxx(ω)≥0
性质 (2)的证明见下节。 类似地，对于互功率谱,有
)()(
de)(
π2
1
)(
)()(
π
π-
j
j
yxxy
n
xyxy
m
n
xyxy
PP
Pmr
emrP
(1.2.43)
(1.2.44)
(1.2.45)
数字信号处理 —— 时域离散随机信号处理
1.2.5 随机序列的各态历经性我们知道集合平均要求对大量的样本进行平均,实际中这种做法是不现实的 。 在很多情况下,可以用一条样本曲线描述随机序列,因此可以用样本曲线进行测量和分析 。
设 x(n)是平稳随机序列 X(n)的一条样本曲线，其时间平均值为
N
NnN
nxNnx )(12 1lim)( (1.2.46)
类似地，其时间自相关函数为
N
NnN
mnxnxNmnxnx )()(*12 1lim)()(*
(1.2.47)
数字信号处理 —— 时域离散随机信号处理式中 〈 ·〉 表示时间平均算子 。 如果平稳随机序列的集合平均值与集合自相关函数值依概率趋于平稳随机序列样本函数的时间平均值与时间自相关函数,即满足下面两式：
〈 x(n)〉 =mx=E［ X(n)］
〈 x*(n)x(n+m)〉 =rxx(m)=E［ X*(n)X(n+m)］
(1.2.48)
(1.2.49)
则称该平稳随机序列具有各态历经性 。 平稳随机序列虽有各态历经性的和非各态历经性的两种,但在实际中遇到的平稳随机序列,一般都是各态历经性的 。 这样我们用研究平稳随机序列的一条样本曲线代替研究其集合,用时间平均代替集合平均,
这给研究平稳随机序列带来很大的方便 。
数字信号处理 —— 时域离散随机信号处理
1.2.6
1,正态 （ 高斯 ） 随机序列正态随机序列 x(n)的 N维联合概率密度函数用下式表示：
)()( v a r)(
2
1e x p
|v a r|)π2(
1),,,( 1
2
1
2
21 MXXMX
X
xxxp TNN?
(1.2.50)
式中
T
21
T
21
],,,[
],,,[
N
N
mmmM
xxxX
数字信号处理 —— 时域离散随机信号处理
])[(
v a r
22
2
2
22
2212
1211
nn
N
N
N
xnx
x
xxxxx
xxxxx
mxE
X
)](*)[(),c o v ( mnmn xmxnmnxx mxmxExx
数字信号处理 —— 时域离散随机信号处理上面公式表明,正态 （ 高斯 ） 随机序列仅决定于其均值矢量 M以及方差阵 varX。 具有指数型自相关函数的平稳高斯过程称为高斯 —马尔可夫过程 。 这种信号的自相关函数和谱密度函数为
||-2 e)( mX mR
22
2
j 2)e(
xxP
高斯 —马尔可夫也是一种常见的随机信号,适合于大多数物理过程,具有较好的精确性,数学描述简单 。 因为当 m→∞ 时,
自相关函数趋近于 0,所以均值为 0,过程的自相关函数特性完全描述了过程的特性 。
数字信号处理 —— 时域离散随机信号处理
2,
如果随机序列 x(n)，其随机变量是两两不相关的,即
mnxmn nxx 2),c o v (?
式中
0
1
mn? m≠n
m＝ n
则称该序列为白噪声序列 ; 如果白噪声序列是平稳的,则
cov(xn,xm)=σ2δmn (1.2.54)
数字信号处理 —— 时域离散随机信号处理式中,σ2是常数 。 设均值 mxn=m=0,其功率谱 Pxx(ejω)=σ2,在整个频带上功率谱是一个常数 。 如果白噪声序列服从正态分布,序列中随机变量的两两不相关性就是相互独立性,称为正态白噪声序列 。 显然,白噪声是随机性最强的随机序列,实际中不存在,是一种理想白噪声,一般只要信号的带宽大于系统的带宽,
且在系统的带宽中信号的频谱基本恒定,便可以把信号看作白噪声 。 注意：正态和白色是两种不同的概念,前者是指信号取值的规律服从正态分布,后者指信号不同时刻取值的关联性 。
数字信号处理 —— 时域离散随机信号处理
3,谐波过程谐波过程用下式描述：
)c o s ()(
1
ii
N
i
i nAnx
(1.2.55)
式中,Ai和 ωi(i=1,2,3,…,N)是常数,θi(i=1,2,3,…,N)是服从均匀分布的独立随机变量,其概率密度用下式表示：
ππ2 1)( iip
(1.2.5６ )
也可以将 (1.2.55)式写成下式,
))s in ()c o s (()( '
1
' nBnAnx
iii
N
i
i
式中
iiiiii BBAA s i n,c o s ''
(1.2.5７ )
(1.2.5８ )
数字信号处理 —— 时域离散随机信号处理可以证明,这种谐波信号模型是平稳的,设 N=1,计算它的统计平均值和自相关函数：
)c o s ()( nAnx (1.2.59)
0d)c o s (2)]([ nAnxE
(1.2.60)
d)}c o s (]2)2{ c o s [ (
4
d))(c o s ()c o s (
2
)]()([),(
2
2
mnn
A
mnn
A
mnxnxEmnnr
xx
数字信号处理 —— 时域离散随机信号处理上式中第一项积分为 0，因此
)c o s (21),( 2 mAmnnr xx
(1.2.61)
由于谐波过程的统计平均值与时间 n无关,自相关函数仅与时间差 m有关,谐波过程是平稳的 。
当 N大于 1时，也有同样的结论，可以证明：
)c o s (
2
1
)(
0)]([
1
2 mAmr
nxE
i
N
i
ixx?
(1.2.62)
数字信号处理 —— 时域离散随机信号处理
1.2.7 随机信号的采样定理对于平稳随机信号,如果其功率谱严格限制在某一有限频带内,该随机信号称为带限随机信号 。 如果平稳随机信号 X(t)
的功率谱 Pxx(Ω)满足下式：
c||0)(xxP
则称 X(t)为低通性带限随机信号,式中 Ωc表示功率谱的最高截止频率 。
设以采样间隔 T对平稳随机信号 X(t)进行采样,采样后随机序列为 X(n),只要采样频率 fs满足：
css 2π2 f
或者
cc
π
2
1
fT
(1.2.63)
数字信号处理 —— 时域离散随机信号处理则有以下采样插值公式,
)(
)(s i n)()(?
nTt
nTtnTXtX
c
c
(1.2.64)
可以证明,在均方意义上,X(t)等于 ［ 1］,即)(? tX
0]|)(?)([| 2 tXtXE
(1.2.6５ )
数字信号处理 —— 时域离散随机信号处理
1.3 随机序列数字特征的估计
1.3.1
一般来说,根据观测数据对一个量 （ 参数 ） 或者同时对几个量 （ 参数 ） 进行推断,是估计问题 。 例如,通信工程中的信号参数和波形,包括振幅,频率,相位,时延和瞬时波形 。 这里无论对何种量估计,都必须根据观测值进行估计,而观测存在观测误差 （ 或者把观测误差看成噪声 ）,虽然被估计的参数是确定量,观测数据却是随机的,由观测值推算出的估计量存在随机估计误差 。 因此如何判定估计方法的好坏,是统计估计的基本问题 。
数字信号处理 —— 时域离散随机信号处理假定对随机变量 x观测了 N次,得到 N个观测值,x0,x1,x2,…,
xN-1,希望通过这 N个观测值估计参数 α,称 α为真值,它的估计值用 表示 。 是观测值的函数,假定该函数关系用 F［ ·］ 表示,
],,,,[? 1210 NxxxxF (1.3.1)
数字信号处理 —— 时域离散随机信号处理图 1.3.1 估计量的概率密度曲线
P
1
(? )
P
2
(? )
^
^
^
0
数字信号处理 —— 时域离散随机信号处理
1,偏移性令估计量的统计平均值与真值之间的差值为偏移 B,其公式为
]?[ EB (1.3.2)
如果 B=0,称为无偏估计 。 无偏估计表示估计量仅在它的真值附近摆动,这是我们希望有的估计特性 。 如果 B≠0,则称为有偏估计 。 如果随着观察次数 N的加大,能够满足下式：
]?[lim EN
(1.3.３ )
则称为渐近无偏估计，这种情况在实际中是经常有的。
数字信号处理 —— 时域离散随机信号处理
2.
如果两个估计量的观察次数相同,又都是无偏估计,哪一个估计量在真值附近的摆动更小一些,即估计量的方差更小一些,就说这一个估计量的估计更有效 。
如果 和 都是 x的两个无偏估计值，对任意 N，它们的方差满足下式：
'
2 '?2
式中
]])'?['?[(],])?[?[( 22 '?22 EEEE (1.3.4)
则称 比 更有效。一般希望当 N→∞ 时,。02
'
数字信号处理 —— 时域离散随机信号处理
3,一致性 ——均方误差在许多情况下,比较两个有偏估计值是较麻烦的 。 偏移较小的估计值,可能有较大的方差,而方差较小的估计值可能有较大的偏移,此时使用与估计值有关的均方误差会更方便 。 估计量的均方误差用下式表示：
])?[(][ 22 EE
(1.3.5)
如果估计量的均方差随着观察次数的增加趋于 0,即估计量随 N
的加大,在均方意义上趋于它的真值,则称该估计是一致估计 。
估计量的均方误差与估计量的方差和偏移的关系推导如下：
数字信号处理 —— 时域离散随机信号处理
2
2
22
2
22
])]?[])(?[?[(2]])?[(])?[?[(
]]))?[(])?[?[((
])?[(]~[
B
EEEEEE
EEE
EE
(1.3.6)
上式表示,随 N的加大,偏移和估计量方差都趋于零,是一致估计的充分必要条件 。 通常对于一种估计方法的选定,
往往不能使上述的三种性能评价一致,此时只能对它们折衷考虑,尽量满足无偏性和一致性 。 下面讨论均值,方差,自相关函数的估计方法,均假设随机序列平稳且具有各态历经性,
集合平均可以用长时间的时间平均代替 。
数字信号处理 —— 时域离散随机信号处理
1.3.2 均值的估计假设已取得样本数据,xi(i=0,1,2,…,N-1),均值的估计量用下式计算：
1
0
1? N
i
ix xNm
(1.3.7)
式中 N是观察次数。 下面用已介绍的方法评价它的估计质量。
数字信号处理 —— 时域离散随机信号处理
1,偏移
1
0
1
0
][
11
][
]?[
N
i
xi
N
i
ix
xx
mxE
N
x
N
EmE
mEmB
（ 1.3.8）
因此 B=0,说明这种估计方法是无偏估计。
数字信号处理 —— 时域离散随机信号处理
2,
1
0
1
0
2
2
2222
][
1
]?[
]?[]])?[?[(
N
i
N
j
jix
xxxxm
xxE
N
mE
mmEmEmE
x
在计算上式时，与数据内部的相关性有关,先假设数据内部不相关,那么
][][][ jiji xExExxE?
222 1][1]?[
xix mN
NxE
NmE
2222
11][1
xxim NmNxENx
(1.3.9)
(1.3.10)
数字信号处理 —— 时域离散随机信号处理以上式表明,估计量的方差随观察次数 N增加而减少,当 Ν→∞
时,估计量的方差趋于 0。 这种情况下估计量的均方误差为
2?22 ]~[
xmx BmE
这样,当 N→∞ 时,B=0,，,是一致估计 。 结论是,当数据内部不相关时,按照 （ 1.3.7） 式估计均值,是一种无偏的一致估计,是一种好的估计方法 。
如果数据内部存在关联性,会使一致性的效果下降,估计量的方差比数据内部不存在相关情况的方差要大,达不到信号方差的 1/N。
0xm? 0]~[ 2?xmmE
数字信号处理 —— 时域离散随机信号处理
]])()[(])[([
1
)(
1
1
])?[(
1
0
1
0
1
0
2
2
2
1
0
2
2
1
0
22
N
in
n
xi
N
i
xn
N
i
xi
N
i
xi
N
i
xi
xxm
mxmxEmxE
N
mxE
N
mx
N
E
mmE
x
当序列的 n与 i相差 m时,E［ (xn-mx)(xi-mx)］ =cov(m),而 N点数据中相距 m点的样本有 N-m对,因此数字信号处理 —— 时域离散随机信号处理
N
m
N
mN
mmNN
N
N
m
x
x
N
m
m x
1
12
1
1
2
2
)(21
])c o v ()(2)0c o v ([
1
(1.3.11)
式中
)0c o v (
)c o v ()(),0c o v (2 mm
xx
上式表明当数据之间存在相关性时,按照 （ 1.3.7） 式估计均值,
其估计量的方差下降不到真值的 1/N。 也可将上式表示成
1
1
2
2
)(21
N
m
x
m
x
m
N
mN
N
x?
(1.3.12)
数字信号处理 —— 时域离散随机信号处理
1.3.3 方差的估计已知 N点样本数据 xi(i=0,1,2,…,N-1),假设数据之间不存在相关性,且信号的均值 mx已知,方差用下式估计：
1
0
22 )(1?
N
i
xix mxN?
(1.3.13)
可以证明这是一致估计,但实际中一般 mx是不知道的 。 下面分析数据之间不存在相关性,均值也不知道的情况下,方差的估计方法 。 方差估计用下式计算：
1
0
22 )?(1?
N
n
xnx mxN?
(1.3.14)
数字信号处理 —— 时域离散随机信号处理式中的均值估计值 用 （ 1.3.7） 式计算 。 下面分析它的偏移性,
按照上式,有
xm?
1
0
222 ]}?[2]?[][{1]?[
N
n
xnxnx mxEmExENE? (1.3.15)
式中的第二项已经推出,即 (1.3.9)式。 式中的第三项推导如下：
22
1
0
2
1
0
2
1
0
1
][
1
][][
1
][
1
][
1
][
1
1
]?[
xn
N
nm
m
mnn
N
nm
m
mnn
N
m
mnxn
m
N
N
xE
N
xExE
N
xE
N
xxE
N
xE
N
xxE
N
mxE
(1.3.16)
数字信号处理 —— 时域离散随机信号处理将 (1.3.9)式和 (1.3.16)式代入 (1.3.15)式,得到
2
2222
1
1
][
1
][]?[
x
xnnx
N
N
m
N
N
xE
N
xEE
上式表明,按照 （ 1.3.7） 式估计方差,是有偏估计,但是渐进无偏 。 为了得到无偏估计,可以用下式计算：
1
0
22 )?(
1
1'? N
n
xnx mxN?
（ 1.3.18）
之间的关系是2?
x? 和 2'?x?
22?
1'? xx N
N
（ 1.3.19）
数字信号处理 —— 时域离散随机信号处理将上式两边取统计平均值，并将（ 1.3.17）式代入,得到
22' ]?[ xxE
（ 1.3.20）
上式表明,按照 （ 1.3.18） 式估计方差,是无偏估计 。 另外可以证明它也是一致估计,证明从略 。
如果数据之间存在相关性,也按照 （ 1.3.18） 式进行计算方差,可以证明是有偏估计,但是渐近无偏估计,方差估计值的统计平均值如下式：
1
)(2
1]?[
1
122'
N
m
N
mN
E
N
m
x
xx
(1.3.21)
数字信号处理 —— 时域离散随机信号处理
1.3.4 随机序列自相关函数的估计
1,
估计公式为
)(?)(?
)()(
1
)(?
1
0
mrmr
mnxnx
mN
mr
xxxx
mN
n
xx
0≤m≤N-1
1-N<m<0
将上面两式写成一个表达式：
1||
0
)()(||1)(?
mN
n
xx mnxnxmNmr （ 1.3.22）
数字信号处理 —— 时域离散随机信号处理下面分析这种自相关函数的估计质量,首先分析偏移性：
)()](?[ mrmrEB xxxx
)()]()([||1)](?[
1||
0
mrmnxnxEmNmrE xx
mN
n
xx
（ 1.3.23）
因此,B=0,这是一种无偏估计。下面推导估计量的方差,
)]()()()([
|)|(
1
)](?[
)]()](?[])])(?[)(?[()](?v a r [
1||
0
1||
0
2
2
222
mkxkxmnxnxE
mN
mrE
mrmrEmrEmrEmr
mN
k
mN
n
xx
xxxxxxxxxx
（ 1.3.24）
数字信号处理 —— 时域离散随机信号处理为了分析简单,假设 x(n)是实的,均值为 0的高斯随机信号,求和号内的部分可以写成下式：
)()()()(
)()()()()(
)]()()()([
22
2
mnkrnmkrnkrmr
mnkrnmkrnkrnkrmr
mkxkxmnxnxE
xxxxxxxx
xxxxxxxxxx
(1.3.25)
)]()()([
|)|(
1
)](?v a r [
)]()()([
|)|(
1
)(
)](?[
2
1||
0
1||
0
2
2
1||
0
1||
0
2
2
2
mnkrnmkrnkr
mN
mr
mnkrnmkrnkr
mN
mr
mrE
xxxxxx
mN
k
mN
n
xx
xxxxxx
mN
k
mN
n
xx
xx
数字信号处理 —— 时域离散随机信号处理式中，令 r=k-n
此时求和域发生了变化,如图 1.3.2所示,根据变化后的求和域
(k,r),估计量的方差推导如下,
图 1.3.2 求和域的变化
n
k0
N － m － 1
N － m － 1
N － m － 1
N － m － 1
k
0
r
－ ( N － m － 1)
数字信号处理 —— 时域离散随机信号处理
|]|||)][()()([
|)|(
1
)]}()()([
)]()()([{
|)|(
1
)](?v a r [
2
1||
||1
2
2
1||1||
0
2
1||
0
0
||1
2
rmNmrrmrrrr
mN
mrrmrrrr
mrrmrrrr
mN
mr
xxxxxx
mN
Nmr
xxxxxx
mN
rk
mN
r
xxxxxx
mNr
kNmr
xx
(1.3.26)
一般观测数据量 N很大，
)()()(
|)|(
)](?v a r [
||||
1||||
2
1||
||1
2
mrrmrrrr
mN
N
mr
N
N
rm
NrmN
xxxxxx
mN
Nmr
xx
(1.3.27)
数字信号处理 —— 时域离散随机信号处理
2,有偏自相关函数的估计有偏自相关函数用 表示，计算公式如下：)(?' mr
xx
)()(1)(?
1||
0
' mnxnx
Nmr
mN
n
xx
(1.3.28)
对比 （ 1.3.22） 式,不同的是求平均时只用 N去除,这是不合理的,但下面可推导出它服从渐近一致估计的原则,比无偏自相关函数的估计误差小,因此以后需要由观测数据估计自相关函数时,均用上式进行计算 。 下面先分析它的偏移性 。
数字信号处理 —— 时域离散随机信号处理对比（ 1.3.22）式和 (1.3.28)式,无偏自相关函数与有偏自相关函数的关系式为
)(?||)(? '' mrN mNmr xxxx
（ 1.3.29）
因为 是无偏估计，因此得到)(?' mr
xx
)(||)](?[ ' mrN mNmrE xxxx
（ 1.3.30）
上式说明 是有偏估计，但是渐近无偏，其偏移为)(?' mr
xx
)(|| mrNmB xx? （ 1.3.31）
数字信号处理 —— 时域离散随机信号处理在 （ 1.3.30） 式中,的统计平均值等于其真值乘以三角窗函数 wB(m)（ 或称巴特利特窗函数 ）,
)(' mrxx
N
mNmw
B
||)( (1.3.32)
三角窗函数的波形如图 1.3.3所示 。 只有当 m=0时,才是无偏的,其它 m都是有偏的,但当 N→∞ 时,wB(m)→ 1,B→ 0,因此是渐近无偏 。
)(' mrxx
)(' mrxx
数字信号处理 —— 时域离散随机信号处理图 1.3.3 三角窗函数
－ N N
N
B
( m )
m0
1
数字信号处理 —— 时域离散随机信号处理按照（ 1.3.29）式,估计量的方差为
)](v a r [||)](v a r [ '
2
' mr
N
mNmr
xxxx
将（ 1.3.27）式代入上式,得到
)]()()([1)](v a r [ 2
1||
||1
' mrrmrrrr
Nmr xxxxxx
mN
Nmr
xx
(1.3.34)
显然,当 N→∞ 时,，并且
)](?v a r [)](?v a r [ '' mrmr xxxx?
由以上得到结论,虽然是有偏估计,但是渐近一致估计,
估计量的方差小于 的方差 。 因此实际中多用这种有偏自相关函数估计 。 注意,以后有偏自相关函数改用 表示 。
)(?' mrxx
)(?' mrxx
)(?' mrxx
0)](?v a r [ '?mr xx
数字信号处理 —— 时域离散随机信号处理
1.4 平稳随机序列通过线性系统
1.4.1 系统响应的均值,自相关函数和平稳性分析设所研究的线性系统是稳定非时变的,其单位脉冲响应为
h(n),输入是平稳随机序列 x(n),输出为
k
y
k
knxEkhnyEm
knxkhny
)]([)()]([
)()()(
因为输入是平稳随机序列,E［ x(n-k)］ =mx，故
k
xxy eHmnhmm )()(
0j
(1.4.1)
数字信号处理 —— 时域离散随机信号处理这样,mx与时间无关,my也与时间无关 。 先假定输出是非平稳的,
那么,输出的自相关函数为
)]()([)()(
)]()()()([
)]()(*[),(
**
**
rmnxknxErhkh
rmnxrhknxkhE
mnynyEmnnr
rr
rk
yy
因为 x(n)是平稳的，因此
)()]()([ * rkmrrmnxknxE xx
所以
)()()()(),( * mrrkmrrhkhmnnr yyxx
kk
yy
（ 1.4.2）
数字信号处理 —— 时域离散随机信号处理对于（ 1.4.2）式,令 l=r-k,得到
)()()()(
)()()()(
*
mvmrlvlmr
klhkhlmrmr
xx
l
xx
kl
xxyy
(1.4.3)
式中
k
klhkhlv )()()( *
(1.4.4)
v(l)通常称为 h(n)的自相关函数，也可以将 v(l)写成卷积形式：
v(l)=h*(l)*h(-l)=h*(-l)*h(l) (1.4.5)
上式表示 v(l)是 h*(l)与 h(-l)离散卷积或者是 h*(-l)和 h(l)的离散卷积 。
这样线性系统输出的自相关函数等于输入自相关函数与线性系统单位脉冲响应的自相关函数的卷积 。
数字信号处理 —— 时域离散随机信号处理
1.4.2 输出响应的功率谱密度函数设将（ 1.4.5）,(1.4.3)式分别写成 Z变换形式,表示如下,
*
*
*
*
1
)()()(
1
)()(
z
HzHzPzP
z
HzHzV
xxyy
(1.4.6)
(1.4.7)
将 z=ejω代入上式，得到输出功率谱：
Pyy (ejω)=Pxx(ejω)H(ejω)H*(ejω)=Pxx( ejω)|H(ejω)|2 (1.4.8)
如果 h(n)是实序列，（ 1.4.5）,(1.4.6),(1.4.7)式简化为数字信号处理 —— 时域离散随机信号处理
v(l)=h(l)*h(-l) (1.4.9)
V(z)=H(z)H(z-1) (1.4.10)
Pyy(z)=Pxx(z)H(z)H(z-1) (1.4.11)
下面利用 (1.4.8)式证明功率谱密度函数的非负性质 。
如果 mx=0,按照 （ 1.4.1） 式,my=0,再按照 (1.2.39)式和相关函数的性质 (2),得到
0d)e(π2 1)]([)0( jπ π2yyyy PnyEr
将 (1.4.8)式带入上式,得到
0d|)e(|)e(π2 1)0( 2jjπ π HPr xxyy
数字信号处理 —— 时域离散随机信号处理由于 Pxx(ejω)和 |H(ejω)|2均是 ω的偶函数,假设系统的幅度特性 |H
(ejω) |如图 1.4.1所示,因此
0)e(π1)0( j
dPr b
a
xxyy
故 Pxx(ejω)≥0,最后证明了信号的功率谱密度函数是实,偶,非负函数 。
数字信号处理 —— 时域离散随机信号处理图 1.4.1 理想带通滤波器的幅度特性
－?
b
－?
a
a
b
2
)(e
j?
H
1
0?
数字信号处理 —— 时域离散随机信号处理
1.4.3 系统的输入、
线性非时变系统输入与输出之间互相关函数为
)()()()(
])()()([)]()([)(
**
mrmhkmrkh
kmnxkhnxEmnynxEmr
xx
k
xx
k
xy
(1.4.12)
因此,输入,输出之间的互相关函数等于系统的单位脉冲响应与输入自相关函数的卷积 。 一般称 (1.4.12)式为输入,输出互相关定理 。 设 x(n)是另均值平稳随机序列,（ 1.4.12） 式的 Z变换为
)()()( zPzHzP xxxy?
(1.4.13)
输入、输出的功率谱表示为
)e()e()e( jj xxjxy PHP?
(1.4.14)
数字信号处理 —— 时域离散随机信号处理
1.4.4
将前面推导出的（ 1.4.3）式和 (1.4.4)式重写如下：
)()()(
)(*)()()()(
*
kmhkhmv
mvmrlvlmrmr
k
l
xxxxyy
该公式用语言叙述如下,x(n)与 h(n)卷积的自相关函数等于 x(n)的自相关函数和 h(n)的自相关函数的卷积 。 或者简单地说,卷积的相关等于相关的卷积 。 用一般公式表示如下：
如果 e(n)=a(n)*b(n)
f(n)=c(n)*d(n)
那么 r
ef(m)=rac(m) * rbd(m) (1.4.15)
数字信号处理 —— 时域离散随机信号处理例 1.4.1 假设系统的输入,输出和单位脉冲响应分别用 x(n)、
y(n)和 h(n)表示,试求输入,输出互相关函数和输入自相关函数之间的关系 。
解 按照相关卷积定理，得到
x(n)=x(n)*δ(n)
y(n)=x(n)*h(n)
rxy(m)=rxx(m)*rδh(m)
式中
t
h mhlmhlmr )()()()(
数字信号处理 —— 时域离散随机信号处理将该式带入上式,得到
rxy(m)=rxx(m) * h(m)
这就是已经推导出的输入,输出互相关卷积定理 。 对于实,平稳随机信号相关函数的性质 (1),得到输出,输入互相关函数和输入自相关函数之间的关系：
ryx(m)=rxy(-m)=rxx(-m)*h(-m)=rxx(m)*h(-m)
Pyx(z)=Pxx(z)H(z-1)
数字信号处理 —— 时域离散随机信号处理例 1.4.2 按照图 1.4.2推导两个系统的输出互相关函数与输入互相关函数之间的关系 。
解 y1(n)=x1(n)*h1(n)
y2(n)=x2(n)*h2(n)
按照相关卷积定理,有
)(
*
1
)()(
)()()()()()()(
)()()(
2
*
1
2
*
12
*
12
*
1
2121
21
212121
zH
z
HzPzP
mhmhnmhnhmnhnhmr
mrmrmr
xxyy
nn
hh
hhxxyy
(1.4.16)
数字信号处理 —— 时域离散随机信号处理
H
1
( z )
H
2
( z )
x
1
( n )
x
2
( n )
y
1
( n )
y
2
( n )
图 1.4.2 例 1.4.2图数字信号处理 —— 时域离散随机信号处理按照图 1.4.2还有下面关系式,作为练习,请读者自己证明。
*
*
2
2
*
*
1
1
1
)()(
)()()(
1
)()(
)()()(
1212
2121
2121
1212
z
HzPzP
zHzPzP
z
HzPzP
zHzPzP
yxyy
xyyy
xxxy
xxyx
(1)
(2)
(1.4.17)
(1.4.18)
(1.4.19)
(1.4.20)
数字信号处理 —— 时域离散随机信号处理例 1.4.3 已知实平稳白噪声 x(n)的功率谱是 σ2x,使通过一个 q
阶的 FIR网络 (对这里 q阶的解译,请参考本章 1.5节 ),求输出自相关函数 ryy(m),功率谱 Pyy(ejω),互相关函数 rxy(m) 和互谱
Pxy(ejω)。
解 设系统的传输函数用下式表示：
q
n
n
n zbzH
0
)(
式中系数 bn是实数，按照（ 1.4.8）式，网络输出的功率谱为数字信号处理 —— 时域离散随机信号处理
])c o s ([
)s i n ()c o s (
e
|)e(|)e()e(
0 00
22
2
0
2
0
2
2
0
nj-2
2jjj
q
jn
n
q
j
jn
q
n
nx
q
n
n
q
n
nx
q
n
nx
xxyy
jnbbb
nbnb
b
HPP
数字信号处理 —— 时域离散随机信号处理因为 δ(n)的傅里叶变换是 1,δ(n+m)+δ(n-m)的傅里叶变换是 2 cos(ωm),那么对上式进行反变换,得到
)()(
2
)()(
0 0
2
0
22 njmnjmbbmbmr
q
jn
n
q
j
jn
x
q
n
nxyy
上式表明输出信号的自相关函数 ryy(m)有限长,存在于 ± q之间 。
类似地,可求出互谱和互相关函数为
q
k
xy
q
n
q
n
nnxxy
bknxE
mnynxEmr
nbjnbbP
0
1 1
0
2j
)([
)]()([)(
)s in ()c o s ()e(
数字信号处理 —— 时域离散随机信号处理例 1.4.4 设实平稳白噪声 x(n)的方差是 σ2x,均值 mx=0,让 x(n)
通过一个网络,
y(n)=x(n)+ay(n-1)
式中 a是实数 。 求网络输出的功率谱和自相关函数 。
解 先用归纳法求网络输出的自相关函数
ryy(m)=E［ y(n)y(n+m)］
令 m=0,则
ryy(0)=E［ y2(n)］ =E［ (x(n)+ay(n-1))2
ryy(0)=E［ x2(n)］ +a2E［ y2(n-1)］ +2aE［ x(n)y(n-1)］
数字信号处理 —— 时域离散随机信号处理上式中 y(n-1)发生在 x(n)之前,它只和 x(n-1),x(n-2),…有关,而且 x(n)是白噪声,x(n)和 x(n-1)x(n-2),… 无关,因此上式中的第三项等于 0,那么
2
2
22
1
)0(
)0()0(
a
r
rar
x
yy
yyxyy
令 m=1，则
ryy(1)=E［ y(n)y(n+1)
ryy(1)=E［ y(n)(ay(n)+x(n+1))］ =aryy(0)
数字信号处理 —— 时域离散随机信号处理令 m=2,则 r
yy(2)=E［ y(n)y(n+2)
=E［ y(n)(ay(n+1)+x(n+2))
=aryy(1)=a2ryy(0)
总结规律，因此有
2
21)0()( x
m
yy
m
yy a
aramr?
下面再求网络输出的功率谱,由给定的网络差分方程,得到网络系统函数
11
1)(
azzH
数字信号处理 —— 时域离散随机信号处理网络输出功率谱为
c o s21e1
1|)e(|)e()e(
2
22
j-
22jjj
aaaHPP
x
xxxyy
式中,a是网络的极点,为了稳定,要求 |a|＜ 1。 a愈接近于单位圆,
功率谱峰愈尖锐,带宽愈窄,但相关函数衰减愈慢；反过来,a
愈小,功率谱下降愈慢,自相关函数衰减愈加快 。
数字信号处理 —— 时域离散随机信号处理
1.5 时间序列信号模型图 1.5.1 平稳随机序列的信号模型
H ( z )
w ( n ) x ( n )
数字信号处理 —— 时域离散随机信号处理
1.5.1 三种时间序列模型假设信号模型用一个 P阶差分方程描述,
x(n)+a1x(n-1)+…+apx(n-p)
=w(n)+b1w(n-1)+…+ bqw(n-q) (1.5.1)
式中,w(n)是零均值,方差为 σ2w的白噪声 ; x(n)是我们要研究的随机序列 。 根据系数取值情况,将模型分成以下三种 。
数字信号处理 —— 时域离散随机信号处理
1,滑动平均模型 （ Moving Average,简称 MA模型 ）
当 （ 1.5.1） 式中 ai=0,i=1,2,3,…,p时,该模型称为 MA模型 。
模型差分方程和系统函数分别用下式表示：
x(n)=w(n)+b1w(n-1)+…+bqw(n-q)
H(z)=B(z)
B(z)=1+b1z-1+b2z-2+…+ bqz-q…
(1.5.2)
(1.5.3)
上式表明该模型只有零点,没有除原点以外的极点,因此此模型也称为全零点模型 。 如果模型全部零点都在单位圆内部,则是一个最小相位系统,且模型是可逆的 。
数字信号处理 —— 时域离散随机信号处理
2,自回归模型 （ Autoregressive,简称 AR模型 ）
当 （ 1.5.1） 式中 bi=0,i=1,2,3,…,q时,该模型称为 AR模型 。 模型差分方程和系统函数分别用下式表示：
x(n)+a1x(n-1)+a2x(n-2)+…+ apx(n-p)=w(n)
)(
1)(
zAzH?
A(z)=1+a1z-1+a2z-2+…+ apz-p
上式表明该模型只有极点,没有除原点以外的零点,因此该模型也称为全极点模型 。 只有当全部极点都在单位圆内部时,
模型才稳定 。
数字信号处理 —— 时域离散随机信号处理
3,自回归 -滑动平均模型（简称 ARMA模型）
该模型的差分方程用（ 1.5.1）式描述,系统函数用下式表示：
p
i
i
i
q
i
i
i
za
zb
zA
zB
zH
1
1
1
1
)(
)(
)(
式中,分子部分称为 MA部分,分母部分称为 AR部分,这两部分无公共因子,应分别满足稳定性和可逆性的条件 。
数字信号处理 —— 时域离散随机信号处理关于滤波器的长度和阶数作如下说明：滤波器长度一般是指滤波器的单位脉冲响应的长度,对于 FIR滤波器或者 MA模型,其单位脉冲响应的长度是有限长的,长度就是系数的个数；
对于 IIR滤波器或者 AR模型,ARMA模型,其单位脉冲响应的长度则是无限长的,一般只讲它的阶数,阶数是指 （ 1.5.5）,
(1.5.6)式中的 p的大小,如果用差分方程表示,则 p就是差分方程的阶数 。 对于 FIR滤波器或者 MA模型的阶数,则是指
（ 1.5.3） 式中 q的大小,或者说是它的长度减 1。
数字信号处理 —— 时域离散随机信号处理
1.5.2 三种时间序列信号模型的适应性
(1) 沃尔德分解定理：
任意一个实平稳随机序列 x(n) 均可以分解成,x(n)
=u(n)+v(n),式中 u(n)是确定性信号,v(n)是具有连续谱分布函数的平稳随机 MA序列 。 这里确定性部分可以不存在或者事先去掉,MA部分常常是有限阶的 。
该定理说明 MA信号模型具有普遍使用的性质 。 由于
ARMA信号模型包含了 MA模型部分,因此 ARMA信号模型也具有普遍使用的性质 。 对于 AR信号模型的适用性,下面予以说明 。
数字信号处理 —— 时域离散随机信号处理
（ 2） 任意一个 MA序列可用无限阶 AR信号模型表示,或者用阶数足够大的 AR信号模型近似表示 。 证明如下：
设 MA序列为
)()(
0
inwbnx
i
i
b0=1
对上式进行 Z变换得到
X(z)=B(z)W(z)
式中,B(z)是 MA信号模型的系统函数,或者说是 bi(i=1,2,3,…)
序列的 Z变换 。
设 MA信号模型满足可逆性条件,即 B-1(z)存在,令
B-1(z)=G(z)=1+g1z-1+g2z-2+…
数字信号处理 —— 时域离散随机信号处理这样
X(z)G(z)=(1+g1z-1+g2z-2+…) X(z)=W(z)
)(1 1)( 2
2
1
1
zWzgzgzX
对上式进行 Z反变换，得到
x(n)+g1x(n-1)+g2x(n-2)+…= w(n)
上式表示的就是 x(n)的 AR信号模型差分方程,因此证明了一个时间序列可以用有限阶 MA信号模型表示时,也可以用无限阶的 AR模型表示,对于 ARMA模型也同样可以证明 。
数字信号处理 —— 时域离散随机信号处理例如,ARMA模型系统函数为
1
1
1
1)(
az
bzzH
设 AR模型系统函数用 HAR(z)表示：
1
AR
1
1)(
i
i
i zc
zH
令 HAR(z)=H(z),即
1
1
1
1
1
11
bz
azzc
i
i
可以求出 ci系数
1))((
01
1
1
}{,
1
1
1
1
1
1
0
1
1
ibba
i
c
bz
az
TZc
bz
az
zc
i
i
i
i
i
i
数字信号处理 —— 时域离散随机信号处理以上说明 MA和 ARMA模型可以用无限阶 AR模型表示 。 反过来的结论也正确 。
例如：
1
1
1
1)(
az
bzzH
用 MA模型表示：
1
1
1
1
0
1
1
MA
))((
1
1
1
T,
1
1
)(
ii
i
i
i
i
aab
d
az
bz
Zd
az
bz
zdzH
i=0
i≥1
数字信号处理 —— 时域离散随机信号处理以上表明三种信号模型可以相互转化,而且都具有普遍适用性,但是对于同一时间序列用不同信号模型表示时,却有不同的效率 。 这里说的效率,指的是模型的系数愈少,效率愈高 。
一般 AR模型适合表示时间序列的功率谱有尖峰而没有深谷的信号,MA模型适合表示其功率谱有深谷而没有尖峰的信号,
ARMA模型则适合尖峰和深谷都有的情况 。 如果信号的功率谱有尖峰而没有深谷,用具有极点的 AR模型表示将比用 MA模型表示用的系数少,即效率高 。 但 AR模型比较其它两种模型计算简单,许多研究人员喜欢采用 AR模型,只要阶数选高些,近似性较好 。
数字信号处理 —— 时域离散随机信号处理
1.5.3 自相关函数、功率谱与时间序列信号模型的关系
1,有理谱信号如果信号模型输出的功率谱是 ejω或者 cosω的有理函数,这种随机信号称为有理谱信号 。 分析 (1.5.7)式,如果 zi是 H(z)的极点,z-1i就是 H(z-1)的极点,Pxx(z)一定包含下面的因子：
(z-zi)(z-1-zi)=1- zi(z+z-1)+z2i
上式表示 H(z)H(z-1)是 (z+z-1)的函数,设该函数用 V(φ)表示,可以写成下式：
H(z)H(z-1)=V(φ)
)(21 1 zz?
)()( 2 VzP xx?
数字信号处理 —— 时域离散随机信号处理令 z=ejω，得到
)( c o s)e( 2 VP wjxx?
上式说明有理谱信号的功率谱是 ejω或者 cosω的有理函数。
数字信号处理 —— 时域离散随机信号处理
2,谱分解定理如果功率谱 Pxx(ejω)是平稳随机序列 x(n)的有理谱,那么一定存在一个零极点均在单位圆内的有理函数 H(z),
p
k
k
q
k
k
p
k
k
k
q
k
k
k
z
z
za
zb
zA
zB
zH
1
1
1
1
0
0
)1(
)1(
)(
)(
)(
满足
)()()( 12 zHzHzP wxx? 02?w?
式中,ak,bk都是实数,a0=b0=1,且 |αk|＜ 1,|βk|＜ 1。
数字信号处理 —— 时域离散随机信号处理我们知道系统函数的极点只能分布在单位圆内部,才能构成因果稳定的系统,而零点分布不影响系统的因果稳定性 。 单位圆上可以有零点但不能有极点,否则极点在单位圆上会使系统不稳定 。 这样我们总可以用单位圆内部的零极点组成一个系统 H(z)（ 该系统自然是最小相位系统 ）,又因为系统系数是实数,圆外的零极点必定与圆内的零极点共轭对称 。 这样除了单位圆内部零极点外,用其它零极点组成的系统函数必定是 H(z-1)。
这是谱分解定理的一种解释,定理证明请参考文献 ［ 1］ 。 下面用例子说明 。
数字信号处理 —— 时域离散随机信号处理例 1.5.1 已知有理谱如下式：
)5.0e)(5.0e(
)2.0e)(2.0e()e(
j-j
-jj
j
xxP
)()()5.0z)(5.0( )2.0z)(2.0()( 121-
1-
zHzH
z
zzP
wxx?
我们把所有可能的分解形式写出来：
(1)
5.0
2.0)(
z
zzH
(2)
5.0
2.01)(
z
zzH
数字信号处理 —— 时域离散随机信号处理
(3)
z
zzH
5.01
2.0)(
(4)
z
zzH
5.01
2.01)(
在以上四种分解情况中,只有 （ 1） 满足极零点均在单位圆内部,因此按照谱分解定理的约束条件,只能唯一地分解出一个零极点均在单位圆内部的系统函数 。 如果没有零极点均在单位圆内部的约束条件,分解便不是唯一的 。 另外,按照谱分解定理分解出 H(z)一定是最小相位系统,它保证了模型的可逆性,即逆系统存在 。
数字信号处理 —— 时域离散随机信号处理例 1.5.2 已知一阶 AR模型：
x(n)-ax(n-1)=w(n) 0＜ a＜ 1
式中,w(n)是零均值,方差 σ2w=1的白噪声,设 x(0)=0,试求与其等价的自相关函数和功率谱 。
解
x(n)=w(n)+ax(n-1)
=w(n)+a［ w(n-1)+ax(n-2)
= w(n) +aw(n-1)+a2x(n-2)
= w(n) +aw(n-1)+a2w(n-2)+…+ an-1w(1)
数字信号处理 —— 时域离散随机信号处理
2
2
)1(22
1
1
1
1
) ] }1()1()({[
) ] }1()1()({[
)]()([)(
a
a
a
aaa
wamnawmnwE
wanawnwE
mnxnxEmr
n
m
nmmm
mn
n
xx
因为 0＜ a＜ 1,当 n很大时,a2n→ 0,而对实序列,rxx(m)=rxx(-m),这样得到自相关函数,
2
||
1
)(
a
amr m
xx
数字信号处理 —— 时域离散随机信号处理对上式进行 Z变换得到其功率谱
)1)(1(
1)(
1 azazzP xx
如果由模型直接求功率谱,然后由功率谱再求其自相关函数,
将更简单 。 由模型差分方程得到其系统函数为
2
||
1
1
12
1
1
)]([T)(
)1)(1(
1
)()()(
1
1
)(
a
a
zPZmr
azaz
zHzHzP
az
zH
m
xxxx
wxx
数字信号处理 —— 时域离散随机信号处理该例说明了功率谱,自相关函数和信号模型之间的相互等价关系 。
我们知道功率谱是 cosω的函数,为了对功率谱进行谱分解,
下面介绍一种分解方法：
（ 1） 用 φ代替 cosω,得到有理函数 V(φ)
（ 2） 求出 V(φ)分子,分母的全部根 φi;
（ 3） 构造对每个 φi的方程,
izz
)(
2
1 1
该方程有两个根,Zi和 1/ Zi,其中 Zi是单位圆内的根；
数字信号处理 —— 时域离散随机信号处理
（ 4） 用单位圆内部极零点构成 H(z),零点是分子多项式的根 Zi,极点是分母多项式的根 Zj，
j
j
i
i
zz
zz
CzH
)(
)(
)(
常数 C由功率谱 Pxx(ejω)确定。
数字信号处理 —— 时域离散随机信号处理例 1.5.3 已知 x(n)的功率谱
c o s610
c o s45)e( j ω
xxP
求其模型的系统函数。
解
（ 1） 令 φ=cosω，则
610
45)(
V
(2)
6
10
,0610
4
5
,045
2
1
数字信号处理 —— 时域离散随机信号处理
(3)
21,21,45)(21
1
1
1
zzzz
31,31,610)(21
2
2
1
zzzz
数字信号处理 —— 时域离散随机信号处理
(4)
c o s610
c o s45
4
9
3
1
e
2
1
e
3
1
e
2
1
e
)e()e(
3
1
3
1
2
1
2
1
)()(,
3
1
2
1
)(
2
j-
j-
j
j
2j-j
1
1
21
CCHH
zz
zz
CzHzH
z
z
CzH
设 σ2w=1，对比给定的功率谱，得到,C=2/3,模型系统函数为
1
1
3
1
1
2
1
1
3
2
)(
z
z
zH
数字信号处理 —— 时域离散随机信号处理也可以假定 σ2w=4/9，此时模型系统函数为
1
1
3
1
1
2
1
1
)(
z
z
zH
这样得到的模型系统函数的常数因子不同,但我们知道系统函数的全部特性决定于其零极点的分布情况,常数因子仅影响其幅度大小,不影响问题实质 。
数字信号处理 —— 时域离散随机信号处理习 题
1,将零均值与方差为 σ2x的白噪声通过一线性系统,其传递函数为 H(z),试求此系统输出的方差 σ2y。 若
101 1)( 1 aazzH
22 / xy 为何?
数字信号处理 —— 时域离散随机信号处理
2,已知 y1(n)=x1(n)*h1(n),y2(n)=x2(n)*h2(n)，证明：
(1)
)(1)()( 2**1
2121
ZHzHZPZP xxyy
(2) )()()(
11212 ZHZPZP xxyx
(3)
**1 1)()( 2121 zHZPZP xxxy
(4)
)()()( 22121 ZHZPZP yyyy
数字信号处理 —— 时域离散随机信号处理
3,证明用式：
)()(1)(? *
1||
0
mnxnx
N
mr
mN
n
xx
数字信号处理 —— 时域离散随机信号处理
4,已知一个二阶 AR 模型,其差分方程为 x(n)-0.6x(n-
1)+0.08x(n-2)=ω(n),其中 ω(n)是均值为零,方差为 σ2ω的白噪声,
求 H(z),rxx(m),Pxx(z)。
5,设一 AR(3)模型为 xn+0.9xn-1-0.36xn-2+0.145xn-3=ωn,求与其等价的 ARMA(1,1)模型的参数 。
6,一平稳随机信号 xn具有有理功率谱密度,σ2ω=1,
)(5.025.1
)(6.018.2)(
1
1
zz
zzzP
xx
求信号模型。
数字信号处理 —— 时域离散随机信号处理
7,设平稳随机信号 xn
(1) rxx(k)=0.5|k| 所有 k
(2) rxx(k) =0.5|k|+(-0.5)|k| 所有 k
试求产生此信号的模型 。
8,用一个无穷阶 MA(∞)模型 HMA(z)=d(0)+d(1)z-1+d(2)z-1+…
来近似
1
1
1
1)(
az
bzzH
求出 d(k),k=0,1,… 。
数字信号处理 —— 时域离散随机信号处理
9,已知有理谱 Pxx(ejω)如下式：
c o s25.1
c o s4.004.1)e(
j
xxP
求相应的信号模型系统函数。
