小方差无偏估计UMVUE.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第六章 第三节,最小方差无偏估计,一、Rao-Blackwell定理,二、最小方差无偏估计,三、Cramer-Rao不等式,优良的无偏估计都是充分统计量的函数.,将之应用在参数估计中可得:,其中等号成立的充要条件为X与,(,Y,)几乎处处相等.,定理1:,设X和Y是两个,r.v.,EX=,VarX0,令,则有,是样本,是,的充分统计量,定理2:,设总体的概率函数为,p,(,x,;,),对,的任一无偏估计,一、Rao-Blackwell 定理,注:,定理2表明:若无偏估计不是充分统计量的函数,则将之对充分统计量求条件期望可得一个新的无偏估计,且它为充分统计量的函数且方差会减小.,即,考虑点估计只需在充分统计量的函数中进行,这就是 ,充分性原则.,令,=p,2 ,则,为,的无偏估计,.,因为 是充分统计量,由定理2,从而可令,可得,故 为,的无偏估计,.,且,例1.,设,为来自,b,(1,p,),的样本,求,p,2,的,U.E,为,p,的充分统计量,解：,前已求过:,进一步改进：,二、最小方差无偏估计,定义:,注：,一致最小方差无偏估计是一种最优估计.由定理2,只要它存在.它一定是充分统计量的函数.,一般地,若依赖于充分统计量的无偏估计只有一个,它一定是UMVUE.,Problem：,无偏估计的方差是否可以任意小?如果不能任意小,那么它的下界是什么?,是总体,X,的样本,定理3:,(UMVUE准则),设,如果对任一个满足,是,的任一无偏估计,例2:,设,为来自,Exp,(1/,),的样本,则,为,的充分统计量,证明:,为,的UMVUE.,反之亦成立.,1、,Fisher信息量的,定义.,三、罗-克拉美（,CramerRao,）不等式,(1),是实数轴上的一个开区间;,设,总体,X,的概率函数为,p,(,x,;,),且满足条件:,正则条件,(1),I,(,)越大,总体分布中包含未知参数的信息越多。

例3:,设,总体为,Poisson,分布，即,注：,例4:,设,总体为指数分布,Exp,(1/,),，即,(2),I,(,)的另一表达式为,注：,常见分布的信息量,I,(,)公式,两点分布,X,b(1,p),泊松分布,指数分布,正态分布,设,总体,X,的概率函数为,p,(,x,;,),满足上面定义中的条件；,x,1,.,x,n,是来自总体,X,的一个样本,T,(,x,1,.,x,n,),是,g,(,),的一个无偏估计.,2、定理4(Cramer-Rao不等式):,的微分可在积分号下进行，即,则有 特别地对,的无偏估计有,上述不等式的右端称为,C-R下界,I,(,)为,Fisher信息量.,注:,(1),定理对离散型总体也适用.只需改积分号为求和号2),在定理4条件下,若g(,),的无偏估计量,T,的方差,VarT,达到下界,则T,必为g(,)的最小方差无偏估计.但是它不一定存在,也就是说,C-R不等式有时给出的下界过小.,(3)当等号成立时,T,为达到方差下界的无偏估计,此时称,T,为g(,)的,有效估计,有效估计一定是UMVUE.（反之不真）,3.,有效估计,定义,:,定义,:,注:,综上,求证,T,是g()的有效估计的步骤为:,例5.,设总体,XExp,(1/,),密度函数为,为,X,的一个样本值.,求,的,最大似然估计量,并判断它是否为达到方差下界的无偏估计,即有效估计.,为参数,解:,由似然函数,经检验知,的最大似然估计为,所以它是,的无偏估计量,且,而,故 是达到方差下界的无偏估计.,所以,C-R下界为,例8.,设,x,1,.x,n,为取自总体为正态分布,N,(,2,)的样本,验证,因此,是,的有效估计.,解：,已证过 为U.E,下求的C-R下界,由于,而,的,C-R,下界为,是的有效估计,因此,因此:,解:,由于,所以,2,的C-R下界为:,例9.(接前例),设,x,1,.x,n,取自正态分布总体N(,2,),若未知，讨论,2,的无偏估计,是否为有效估计.,由于,其期望为,n,-1,方差为2(,n,-1）,所以,即,不是,2,的有效估计，但为,2,的,渐近有效估计,.,而,2,的C-R下界为,注1:,由P308第四题知,其方差大于C-R下界,即有时C-R下界过小.,是,2,的UMVUE.,2:,若,已知,此时 为,2,的有效估计.,注3,对于,的C-R下界为:,当已知,=0时,易证,的无偏估计为,可证,这是的UMVUE,其方差大于C-R下界.因此所有的无偏估计的方差都大于其C-R下界,即C-R下界过小.(P307),4.最大似然估计的渐近正态性,定理(略),在总体的分布满足一定条件(P307)的情况下,存在具有相合性和渐近正态性的最大似然估计 ,且,即,最大似然估计通常是渐近正态的,且其渐近方差有一个统一的形式并主要依赖于Fisher信息量.,例10:,设,x,1,.x,n,为取自总体为正态分布N(,2,),(1)在,2,已知时,求的MLE 的近似分布.,(2)若已知，讨论,2,的MLE 的渐近分布.,。