第三章随机过程表示法PPT课件.pptx

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,11/7/2009,,‹#›,,*,随机过程表示法,第三章 随机过程表示法,,1,,3.1 引言,,信号表示方法：时域表示法,频域表示法,正交级数表示法,例：对检测问题，利用归一化正交函数族：,,2,,3,,4,,如果以,r,1,，,r,2,值作为判决的基础，三种系统的检测问题都可以视为：,这样三种信号就具有相同的检测性能,,结论：任何两个归一化正交函数必然得到同样的检测性能，但时域或频域表示法无法体现这个重要特性，因此需要研究,随机信号的正交表示法,5,,3.2 确定函数的正交表示法,,对区间[0,,T,]上的能量有限函数,x,(,t,),为某归一化正交函数族,三角级数族，指数函数族，sinc函数族，沃什函数(Walsh) ，哈尔函数，勒让得多项式(幂函数),,6,,3.3 随机过程表示法,,r.p. —随时间变化r.v.的总体,① 均变：一族时间函数,② 定：样本函数，一次实现,③ 定：随机变量,④ 均定：常量（标量或矢量）,平稳随机过程,：,,1、完备的表示法,,应能确定联合密度,,确定此,n,阶密度困难，且不能解决所有问题,7,,2、常用的两种方法,,构造过程,,部分表示法,,比如马尔可夫过程,均值函数：,,单一时间表示法，二阶矩表示法,,方差函数：,相关函数：,,协方差函数：,,对称性：,,8,,正定性：,,为一平方可积的函数，可得一个随机变量:,其方差为：,9,,正定性：,,证明见P.177,为任意非0有限能量函数，满足上式>0， 称,K,x,为正定的,,协方差平稳：,,只取决于,相关平稳：,,只取决于,统计独立：,,不相关：,,正交：,,对于两个随机变量,X,,,Y,10,,对r.p.，类似于确定波形，选择完备正交系展开，需要保证每个样本函数能够表示成展开系数式,采用均方收敛：,3、正交级数表示法 (Karhunen—Loeve展开),一个确定的函数,,可用正交级数展开表示为,,的含义为,即展开表示式的误差均方值趋于0,（1）,在经典检测和估计理论中知道，,如果处理数据是,n,维独立的联合高斯密度分布，则求解过程大大简化,，在波形检测和估计中，如果可建立独立的,n,维密度，问题即可解决。

11,,为此我们希望式（1）中不仅函数坐标系是正交的，而且系数之间也是不相关的所以我们不事先规定 的形式，而是要求一个使系数不相关的函数系 , 即选择一个函数系使：,(1)系数不相关：,(2)正交归一：,为了选择系数使有限项近似式与,x,(,t,)的误差平方积分值最小，得满足：,,12,,(3)最小误差条件：,代入系数不相关条件,,由正交归一条件得到,,13,,为使上式对一切,i,、,j,成立，内积分必须满足下面积分方程：,,特征值：,核函数：,特征函数：,此式为充要条件，求解此积分方程，就可以得到一个系数不相关的正交展开的函数坐标系又称Karhunen—Loeve展开特征值实质上相当于在特定坐标函数中的能量的期望值,对一个高斯随机过程，其KL展开式中的系数是统计独立的高斯随机变量——KL展开最重要的应用,（2）,14,,3.4 积分方程的性质,,1、如 为正定，则 大于0,,证明：,,两边同乘,15,,，则 为实数,,2、如实对称核，,证明,：,（2）式两边同乘,将（2）式,t,、,u,互换：,,取共轭，则对第,m,个特征函数有：,,此式两边同乘,,为实数,,16,,3、如 为积分方程的解，则 也是其解,代入积分方程，均等 ，而且特征值不变,4、相应于实对称核的特征函数是实函数,对积分方程取共轭，,,对比看出， 、 对应同一 ，,只要不退化必有,17,,5、不同特征值对应的特征函数互相正交,证明：,两式相减：,,因此 正交,18,,6、默塞尔（Mercer）定理：核函数 可展开写为：,,证明：,由展开系数不相关条件：,将该条件代入协方差函数表示式，只有,i=j,时有值，得：,,19,,7、特征值的和等于0均值r.p.在[0,,T,]能量的期望值，即,,证：,根据默塞尔定理，用,t,代,u,：,,,,将 ， ， ，,代入积分，,得证。

20,,为r.p.在坐标 上的能量,,为r.p.在 上的投影,当 ，,i=j,时，,8、当 时， ，即特征值表示r.p.沿坐标函,数 的能量均值,证明：,根据系数正交条件：,21,,9、对于白噪声过程：各特征值相等,得恒等式：,，根据默塞尔定理,证明：,10、渐近性,对于平稳r.p.，用无限区域代替有限区间时，特征函数与特征值将呈现出一种十分有意义的情况，此时积分方程变为：,22,,对比线性系统（时不变）输入、输出的关系为：,,可看出，我们要求的 是这样一个函数，它加在冲击响应为 的线性系统输入端时，在系统的输出端仍为 ，只是增加了一个增益因子,从线性系统理论知道，复指数函数满足这个要求，即 对任何 都是平稳过程的特征函数，将此值代入积分方程可得：,,看出特征函数是 ，而特征值是特定 处的功率谱密度,,23,,11、特征值的单调性：P204,,求证,12、最大特征值的上下边界：P208,由性质10，如果特征函数是 ，特征值 就是 处的功率谱密度值,若,x,(,t,)为在长度为T区间的平稳r.p.，可得上界：,(1),(2),由性质7，特征值的和等于0均值r.p.在长度为,T,区间能量的期望值：,24,,上界：,,下界： 为[-,T,/2,,T,/2]区间的任意,单位能量,函数，则,(3),证明：,如果 是正定的，则特征函数构成一个完备归一化正交族。

这意味着任何有限能量的确定函数可用特征函数展开如 不是正定的，特征函数不能构成一个完备归一化正交族，可以用附加的正交增广特征函数获得一个完备族，这些附加的特征函数可以看作是0特征值的特征函数25,,可以假设 为完备归一化正交族，并将 展开,,26,,3.5,最佳线性滤波器,,估计一个连续的消息,a,(,t,),引入经典的求最佳线性系统的变分概念,给出Wiener-Hopf方程,给出K-L展开级数解,a,(,t,),,n,(,t,)不相关，且均值都为0,协方差函数分别为,滤波器可以是时变的线性系统，冲击响应表示为,h,(,t,,,u,),输出估计量为,,27,,问题是要选择一个,h,(,t,,,u,)，使在[0，T]区间积分的,平方误差的均值,最小,定义区间估计误差为：,,点估计误差为：,若用,h,o,(,t,u,)表示最佳冲击响应函数（即可使点误差最小）,任何其它的冲击响应可表示为：,为非0实数,点估计误差为,28,,,为任何非0实数时，必须,大于等于0,由于 是任意的以及 是正定的，最后一个积分项非,大于等于0，必须条件是,负。

这样要使得,Wiener-Hopf,方程,29,,最佳滤波器的误差：,WH方程就是在,最小均方误差,意义下，,最佳线性滤波器,的响应必须满足的积分方程考虑白噪声情况,：,,代入W-H方程，得：,30,,W-H方程也可以写成,此时最佳滤波器的误差：,,估计误差,e,(,t,)与输入,r,(,u,)正交,即,即由线性空间的正交投影原理可直接得出W-H方程,对于,线性最小均方误差,估计，估计误差与观测数据正交，即两者相关距为零,31,,利用K-L展开求解W-H方程,,由求K-L展开的积分方程(2)，得到,是核函数为 时,考虑白噪声情况：,,白噪声分量展开为,因为 是一个完备归一化正交族（当,K,a,(,t,u,)不是正定时，可以补充到完备函数集 ）,如果我们想把最佳响应表示为,积分方程(2)的解,下面求出各个系数,h,i,32,,33,,得到,据此式可得出取K项近似的最佳滤波器级数表示框图：,34,,35,,提供一种由非相关r.v.表示二阶矩,的方法,,提供一种表示r.p.的方法,K-L展开在理论上的意义：,,展开为一完备正交函数系，满足以下方程时：,,其展开系数为不相关r.v.,(1),(2),重要应用：,对高斯过程，其展开系数是统计独立的高斯r.v.,(3),36,,补充：220页,随机数字信号处理 王宏禹 科学出版社 1988,离散K-L展开,统计信号的最佳变换：K-L变换，y=Kx,二维K-L变换,广义平稳马尔可夫序列的K-L变换,二维K-L变换的快速算法,在数据压缩和模式识别中的应用,37,,。