第二章参数估计理论_2_byCEQ.pdf

1授课对象：授课对象：授课对象：授课对象：07070707级研究生级研究生级研究生级研究生授课教师：授课教师：授课教师：授课教师：陈陈陈陈 恩恩恩恩 庆庆庆庆联系方式：联系方式：联系方式：联系方式：ieeqchen@ieeqchen@or or enqingchen@enqingchen@●● 郑州大学郑州大学郑州大学郑州大学 信息工程学院信息工程学院信息工程学院信息工程学院 ●●现代信号处理现代信号处理Modern Signal ProcessingModern Signal ProcessingBayes Bayes 估计估计估计估计最小均方误差估计（最小均方误差估计（最小均方误差估计（最小均方误差估计（MMSEMMSE））））最大后验概率估计（最大后验概率估计（最大后验概率估计（最大后验概率估计（MAPMAP））））最大似然估计（最大似然估计（最大似然估计（最大似然估计（MLEMLE））））第二章第二章第二章第二章 参数估计理论参数估计理论参数估计理论参数估计理论 (2)(2)2.3 Bayes 2.3 Bayes 估计与最大似然估计（估计与最大似然估计（估计与最大似然估计（估计与最大似然估计（MLEMLE））））2222ˆˆˆ( ){}{ }ˆˆˆˆ var( ){[(( )] }{() }ˆˆˆ( )( )[() ]ˆˆ var( )( )bEEEEEMmseEbθθθθθθθθθθθθθθθθ2−=−=−=−==−=+?估计子的 方差： 均方误偏差: 差： ?当当N趋于无穷时，估计子均方误差趋于无穷时，估计子均方误差mse趋于零，相当于要求其偏差和方差均趋于零，这时称该估计子为一致估计。

趋于零，相当于要求其偏差和方差均趋于零，这时称该估计子为一致估计最小方差无偏估计器（MVU）：对于确定性参数的估计，最理想的情况是设计一个无偏估计器，使其估计方差最小，称MVU最小方差无偏估计器（MVU）：对于确定性参数的估计，最理想的情况是设计一个无偏估计器，使其估计方差最小，称MVU ( ; ) ( ; ) () ( , ) ( , )(()(),p xp xp xxPDFp xxPDFp xp xpθθθθθθθθθθθ其中： 是一个确定性（非随机变量）但未知需要估计的参数是一个与 有关的观测向量 的概率密度函数其中：是一个随机变量，且未知需要估计的参数是一个与 有关的观测向量 和参数确定性参数的联合＝的估计：随机参数的估计：)() ( )() () px p xp xxPDFpxxPDFθθθθθθ=是 取值情况下 的条件是 取值情况下 的条件先验概率后验概率??确定性参数与随机参数估计确定性参数与随机参数估计确定性参数与随机参数估计确定性参数与随机参数估计??Bayes Bayes 估计（估计（估计（估计（1 1））））222ˆˆ()( ; ) ˆˆ()( ; )ˆˆˆ()( ; )0ˆˆ(ˆ) pdpdpdgθθθθθθθθθθθθθθθθθθ−∂∂⇒−∂∂∂⇒−∂⇒∫∫∫因为 是确定量，不参与概率空间的运算，即 mse( )＝mse(在经典的确定性参数估计中，利用均方误差mse( )最小化，可能得不)＝令其等于零＝＝其中包含了待估计的参数，因此无法实到可实现的估计。

现器xxxxxx222ˆˆˆ()( , )ˆˆ()( , )ˆˆˆ()( , )0ˆˆ( ) pd dpd dpd dgθθθθθθθθθθθθθθθθθθθθ−∂∂⇒−∂∂∂⇒−∂⇒∫∫∫∫∫∫那么估计的均方误差mse( )定义为： mse( )＝ms因此，在Bayes估计中，假设所要估计的参数 是一个随机变量，Bayes估计的是该随机参数的一次实现的e( )＝令其等于零＝＝可以实现xxxxxxx??Bayes Bayes 估计（估计（估计（估计（2 2））））2222ˆˆˆ()( , )ˆ()()( )ˆˆ()()( )ˆˆˆ()()0 (( )ˆpd dpdpdpdpdpdpθθθθθθθθθθθθθθθθθθθθθθ−⎡⎤−⎣⎦∂∂⎡⎤⇒−⎢⎥∂∂⎣⎦∂⇒−≥∂∫∫∫ ∫∫∫∫∵ 先将估计的均方误差mse( )写为： mse( )＝ ＝mse下面推导最小均方误差准则(MM( )＝令SE)下的Bayes估其等于零＝计表达式xxxxxxxxxx20)ˆˆ()()()ˆ(){}()0ˆpdpdpdEθθθθθθθθθθθθθθ∂⇒−−==∂⇒=∫∫∫＝2xxxx??Bayes Bayes 估计（估计（估计（估计（3 3））））ˆ (){}pdEθθθθθθ==∫xxx说明最小均方误差准则下的Bayes估计为：已知一个观测向量 条件下的参数 的条件期望值（条件均值）。

Bayes Bayes 估计（估计（估计（估计（4 4））））() ( )() ( )()( )() ( )ppppppppdθθθθθθθθ==∫xxxxx??通常情况下，后验概率通常情况下，后验概率通常情况下，后验概率通常情况下，后验概率不容易获得，因此常用下式不容易获得，因此常用下式不容易获得，因此常用下式不容易获得，因此常用下式()pθx2ayesˆ[ ()]( , )Epd dCCθθθθθθθθ−=∫∫此时，MMSE B估计得到的最小均方误差为 Bmse( )＝为 的条件协方差xxxxx2/212/20/2 ( )( ),0,...,1,( )1( )211 ()exp[ ( )]2()( ) ()()( )11expaANNnAANx nAw n nNw nAWGNApaepAx nApA pAp ApA pA dAπππ−−==+=−=⎡⎤=−−⎢⎥⎣⎦−=∑∫xxxx例： 设观测值其中为零均值，方差为1，且估计量 服从零均值方差为1的高斯分布，即 ， 求参数A的估计解：(2 )＝(2 )2212/2012/2/201[ ( )]22111exp[ ( )]22NAnNANnx nAex nAedAπππ−−=−−=⎡⎤−⎢⎥⎣⎦⎡⎤−−⎢⎥⎣⎦∑∑∫(2 )??Bayes Bayes 估计（估计（估计（估计（5 5））））2212/2/2012/2/201/221/2111exp[ ( )]22()111exp[ ( )]22(1)1 exp(1)()21ˆ()()11NANnNANnx nAep Ax nAedANNXNANNXNXAE AAp AdANNπππππ−−=−−=⎡⎤−−⎢⎥⎣⎦=⎡⎤−−⎢⎥⎣⎦⎡⎤+=−+−⎢⎥+⎣⎦∴===++∑∑∫∫(2 )(2 )(2 )＝xxx??Bayes Bayes 估计（估计（估计（估计（6 6））））101( )NnXx nN−==∑仍为高斯分布??Bayes Bayes 估计（估计（估计（估计（7 7））））?矢量情况矢量情况121{}{}ˆ{} {}NEEEEθθθ−⎡⎤⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎣⎦xx θθ xx???Bayes Bayes 估计（估计（估计（估计（8 8））））?其它损失函数的情况其它损失函数的情况unifˆ0 ˆ( , )ˆ1 Cθθδθ θθθδ⎧⎫−<⎪⎪=⎨⎬−>⎪⎪⎩⎭ ?均匀损失函数均匀损失函数?绝对损失函数绝对损失函数ˆˆ( , )Cθ θθθ=− ˆ{ ( , )}E Cθ θ 风险函数: ??Bayes Bayes 估计（估计（估计（估计（9 9））））?最大后验概率（最大后验概率（MAP）估计）估计?使由均匀损失函数构成的风险函数最小化使由均匀损失函数构成的风险函数最小化unifunifunifˆˆˆ{( , )}( , ) ( , )ˆ ()ˆ () ( )ˆ [ln()ln( )]RE CCpd dpppppθθθθθ θθ θθθθθθθθθθθ=⇒=⇒=⇒=+∫ ∫ xxxxx?? ? ?? ?? ? ?? ?? ? ?? ?? ? ?? ? arg min＝arg maxarg maxarg max() ( )() ( )()( )() ( )ppppppppdθθθθθθθθ==∫xxxxxunifˆ0 ˆ( , )ˆ1 Cθθδθ θθθδ⎧⎫−<⎪⎪=⎨⎬−>⎪⎪⎩⎭ ??Bayes Bayes 估计（估计（估计（估计（1010））））————最大后验概率（最大后验概率（MAP）估计的例子）估计的例子2222122/220 ( )( ),0,...,1,( )()1( )expaye2211 (ˆ )exp[ ( )]2 wAAAANNMnwwAPAx nAw n nNw nAWGNAApApAx nAAσμσπσπσσ−==+=−⎡⎤−=−⎢⎥⎣⎦⎡⎤=−−⎢⎥⎦=⎣∑x例： 设观测值其中为零均值，方差为，且估计量 服从如下高斯分布，， 求参数A的MAP的B估计。

解：(2arg max)2122/2222022122220 ()111 ()( )exp[ ( )]exp222A1ˆ [ln ()l))n](//(NAANnwwAANAAMAPAnAwAwApA pAx nAAx nN NpANp Aμπσσσπσσσμσσσσ−=−=⎡⎤⎡⎤−=−−⋅−⎢⎥⎢⎥⎣⎦⎣⎦=++++∑∑xx? ? ?? ?(2)上式两边取对数，并对 求导使导数等于零得：??Bayes Bayes 估计（估计（估计（估计（1111））））——最大后验概率（最大后验概率（MAP）估计与）估计与MLE的关系的关系unifunifˆˆ {( , )}ˆ () ()0 ln()0 ln()ln( )ln( )0RE Cppppppθθθ θθθθθθθθθθ=⇒=∂⇒=∂∂⇒=∂∂⇒⎡+−⎤ =⎣⎦∂ xxxxx? ? ?? ?? ? ?? ? arg minarg max最大后验概率估计 () ( )() ( )ppppθθθ=xxx?当服从均匀分布当服从均匀分布θln( )0pθθ∂=∂ln()0 pθθ∂⇒⎡⎤ =⎣⎦∂x似然函数?当服从均匀分布，采用均匀损失函数的当服从均匀分布，采用均匀损失函数的Bayes估计（估计（MAP）与最大似然估计（）与最大似然估计（MLE）等价！）等价！θ??最大似然估计（最大似然估计（最大似然估计（最大似然估计（MLEMLE）（）（）（）（1 1））））?基本思想：在对被估计量没有任何先验知识的情况下，利用已知的若干观测值来估计该参数。

基本思想：在对被估计量没有任何先验知识的情况下，利用已知的若干观测值来估计该参数111,...,,...,(,...,) ()()NNNNxxxxff xxθθθ=似然函数考虑个样本，或用随机向量表示设联合条件分布密度函数＝ 存在且有界将其视为真实参数 的函数，称之为似定义：然函数xxˆˆ ()MLpθθθθ=x? ? ?? ?最大似然估计——使似然函数最大的估计 ，即arg max??最大似然估计（最大似然估计（最大似然估计（最大似然估计（MLEMLE）（）（）（）（2 2）））） ( l)n()0LxLpθθθθ∂=∂=此时，常取对数似然函数作为似最大似然然函数）由（估计求得??最大似然估计（最大似然估计（最大似然估计（最大似然估计（MLEMLE）（）（）（）（3 3））））?最大似然估计的性质最大似然估计的性质1. 最大似然估计一般不是无偏的，但偏差可以通过对估计值乘以一个合适常数消除最大似然估计一般不是无偏的，但偏差可以通过对估计值乘以一个合适常数消除。

2. 最大似然估计是一致估计最大似然估计是一致估计3. 最大似然估计给出优效估计，如果存在的话最大似然估计给出优效估计，如果存在的话4. 对于大的样本点数，最大似然估计为一高斯分布对于大的样本点数，最大似然估计为一高斯分布??例子例子例子例子21222012010( )( ),0,...,1,( )11()exp[ ( )]21ln()[ ( )]01ˆ( )( )ˆ1ˆ{}{NnNnNMLnMLMLx nAw n nNw nAWGNAMLEfAx nAfAx nAAAx nx nNAE AEσπσσσ−=−=−==+=−⎡⎤−−⎢⎥⎣⎦∂=−=∂⇒===∑∑∑xxN/2例：有一个观测值其中为零均值，方差为，求未知量 的，并评价其性能解： ＝(2) 由求的数学期望[]1100101( )}{( ) }1ˆ{( )} NNnnNMLnx nEAw nNNAEw nAAN−−==−==+=+=⇒∑∑∑是无偏估计2222222212010222 ln()()ln()1ˆˆvar(){()()ˆln()()()1ln()[ ( )]( )( )ˆ()()NnNnNfAANI AEfAAAEAAI ANfAK AAAAfAx nAAx nNANx nNANAANK Aσσσσσσσσ−=−=∂−=∂⎡⎤∂⇒= −=⎢⎥∂⎣⎦⇒=−≥=∂=−∂∂−∂−−==−∴∑∑xxxx由上次课例题得知：等号成立条件是，而事实上，有＝＝取＝22ˆvar()ANσ=即可使等号成立，即??总结总结总结总结? Bayes估计将待估计量看成是一随机变量，是使风险函数最小的估计。

Bayes估计将待估计量看成是一随机变量，是使风险函数最小的估计 用均方（二次型）损失函数得到的Bayes估计是MMSE估计用均方（二次型）损失函数得到的Bayes估计是MMSE估计 用均匀损失函数得到的Bayes估计是最大后验概(MAP)估计用均匀损失函数得到的Bayes估计是最大后验概(MAP)估计 Bayes估计需要待估计量的先验知识，即：需要待估计量的PDF或者后验分布函数f(θ|x) 而MLE仅需要由观测决定的似然函数f(x|θ) Bayes估计需要待估计量的先验知识，即：需要待估计量的PDF或者后验分布函数f(θ|x) 而MLE仅需要由观测决定的似然函数f(x|θ) 最大似然估计的估计参数既可以是确定量又可以是随机量最大似然估计的估计参数既可以是确定量又可以是随机量 服从均匀分布的随机参数的最大似然估计等价与最大后验概率Bayes估计服从均匀分布的随机参数的最大似然估计等价与最大后验概率Bayes估计。