第九章 参数估计.doc

第九章 参数估计第九章 参数估计本章开始介绍统计推断，即依据母总体中取得的一个简单随机子样队总体进行分析和推断统计推断分成两大部分，一是参数估计，另一是假设检验参数估计又分点估计与区间估计两种前者是用一个适当的统计量作为参数的近似值，我们称之为该参数的估计量，后者则是用两个统计量所界定的区间来指出真实参数值的大致范围 这里所指的参数是指如下三类未知参数： ⒈分布中所含的未知参数，如：二点分布中的概率；正态分布中的和 ⒉分布中所含的未知参数的函数如：服从正态分布的变量不超过某给定值的概率是未知参数的函数；单位产品的缺陷数通常服从泊松分布，则单位产品合格（无缺陷）的概率是未知参数的函数⒊分布的各种特征数也都是未知参数，如：均值，方差，分布中位数等一般场合，常用表示参数，参数所有可能取值组成的集合称为参数空间，常用表示，参数估计问题就是根据样本对上述各种未知参数做出估计参数估计的形式有两种：点估计与区间估计这里我们先从点估计开始设是来自总体的一个样本，我们用一个统计量的取值作为的估计值，称为的点估计（量），简称估计这里如何构造统计量并没有明确的规定，只要它满足一定的合理性即可这就涉及两个问题：⑴其一是如何给出估计，即估计的方法问题；⑵其二是如何对不同的估计进行评价，即估计的好坏判断标准。

下面介绍一些点估计的方法§9.1点估计和估计量的求法人们可以运用各种方法构造出很多的估计，本节介绍两种最为常用的点估计方法：矩法和最大似然法9.1.1替换原理和矩法估计1900年统计学K.Pearson家提出了一个替换原则，后来人们称此方法为矩法一、矩法估计替换原理常指如下两句话：⒈用样本矩去替换总体矩，这里的矩可以是原点矩也可以是中心矩；⒉用样本矩的函数去替换相应的总体矩的函数根据这个替换原理，在总体分布形式未知场合也可以对各种参数做出估计，譬如：⒈用样本均值估计总体均值，即；⒉用样本方差估计总体方差，即；⒊用事件出现的频率估计事件发生的概率；⒋用样本的分位数估计总体的分位数，特别，用样本中位数估计总体中位数矩法估计的统计思想（替换原理）十分简单明确，众人都能接受，使用场合甚广，它的实质是用经验分布函数去替换总体分布，其理论基础是格里纹科定理二、概率函数已知时未知参数的矩法估计设总体具有已知的概率函数是未知参数或参数向量，是样本，假定总体的阶原点矩存在，则对所有的都存在，若假设能够表示成的函数，则可给出诸的矩法估计：其中是前个样本原点矩：进一步，如果我们要估计的函数，则可直接得到的矩法估计当时，我们通常可以由样本均值出发对未知参数进行估计；如果，我们可以由一阶、二阶原点矩（或二阶中心距）出发估计未知参数。

例9.1.1正态总体的分布是求的矩估计由可得例9.1.2在泊松分布的总体中，求的矩估计由可得例9.1.3在二项分布的总体中，是已知的，求的估计量由，有，所以例9.1.4设总体具有分布，其密度为其中，试求的矩估计这里计算数学期望和方差可得因而解方程得例9.1.5设总体为指数分布，其密度函数为是样本，此处由于，即，故的矩法估计为另外，由于，其反函数为，因此，从替换原理来看，的矩法估计也可取为这说明矩估计可能是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计例9.1.6是来自上的均匀分布的样本，均是未知参数，这里由于不难推出由此可得的矩估计若从均匀总体获得如下一个容量为的样本：，经计算，有，于是可得的矩估计为使用矩法估计的一个前提是总体存在适当阶的矩，阶数应不小于待估参数的个数（或者是参数空间的维数），但这不总是可以做到的例9.1.7柯西分布（Cauchy）设总体具有密度函数显然它的各阶矩皆不存在，因此不能用矩法估计来估计参数，另外尽管矩法估计简便易行，且只要充分大，估计的精度也很高，但它只用到总体的数字特征的形式，而未用到总体的具体分布形式，损失了一部分很用的信息，因此在很多场合下显的粗糙和过于一般。

9.1.2最大似然估计最大似然估计是求估计用的最多的方法，它最早是由高斯在1821年提出，但一般将之功归功于费希尔（R.A.Fisher），因为费希尔在1922年再次提出了这种想法并证明了它的一些性质而使最大似然法得到了广泛的应用先通过一个实例介绍最大似然估计例9.1.8设有一大批产品，其废品率为今从中随意地取出个，其中有个废品，试估计的数值若正品用“”表示，废品用“”表示此总体的分布为即取得的子样记为，其中个是“”，个是“”出现此子样的概率为这个概率随的数值不同而不同自然选择使此概率达到最大的值作为真正废品率的估计值用高等数学中求极值的方法，由得此例求解的思想方法是：选择参数的值使抽得的子样值出现的可能性最大，用这个值作为未知参数的估计值这种求估计量的方法称为最大似然估计法，也称为最大或然估计法或者极大似然估计法显然，如果在此例中取一个容量为的子样，其中有个废品，用最大似然估计法可得下面就离散总体分布和连续总体分布两种情形分别介绍最大似然估计法⒈离散总体分布情形 设总体的分布列为或其中是未知参数，如果取得子样值，那么出现此子样值的概率为选择使达到最大，即这样获得的值作为相应未知参数的估计值。

这种求估计值的方法称为最大似然估计法简记为MLE（Maximum Likelihood Estimate）求得的未知参数的估计量称为最大似然估计量称为似然函数如果对的偏导数存在，那么可以采用高等数学中求极值的方法计算估计值，只要从似然方程组解出，并将换成即可需要指出，有时利用对数函数是单调增函数，选择，使较为方便通常亦称为对数似然函数易知与在同一处达到极大，因此这样做不会改变极大点⒉连续总体分布情形 设总体的分布密度是，其中是未知参数，取得子样值为我们知道当总体是连续型随机变量时，谈所谓样本值出现的概率是没有什么意义的，因为任何一个具体样本出现的概率都是零概率事件这时我们考虑样本在它任意小的邻域中出现的概率，这个概率越大，就等价于此样本处的概率密度越大因此，考虑概率这里取的小区间长度都是固定的量选择的值使此概率达到最大，亦即使达到最大选择的值使达到最大，即这样得到的值作为相应未知参数的估计值这种方法称为最大似然估计法求得的估计量亦称为最大似然估计量称为似然函数类似于离散情形如果对的偏导数存在，那么只要解似然方程组可得最大似然估计量需要指出，有时选择的值使较为方便，此时亦称为对数似然函数。

例9.1.9设总体具有泊松分布，其分布列为其中试用最大似然估计法求未知参数解：作似然函数取对数得由解出改写为，这里求得的的估计量与用矩法估计求得的结果是相同的例9.1.10设总体服从负指数分布，其密度为其中未知参数试求的最大似然估计解：由总体分布可见总体数量指标非负，因而子样值中的每一样品非负似然函数取对数由解出改写为例9.1.11对正态总体是二维参数，设有子样值，则似然函数及其对数分别为将分别关于两个分量求偏导并令其为零即得到似然方程组解此方程组，可得的最大似然估计为 因此也可得到的最大似然估计为利用二阶导函数矩阵的非正定性可以说明上述估计使得似然函数取极大值虽然求导函数是求最大似然估计最常用的方法，但并不是在所有场合求导都是有效的，下面的例子说明了这个问题例9.1.12设总体具有均匀分布，其密度为其中未知参数，试求的最大似然估计量解：子样值为，而似然函数选取的值使达到最大，只要取改写成和矩估计的情形一样，有时虽然能给出似然方程，也可以证明它有解，但得不到解的解析表达式例9.1.13求柯西分布中的最大似然估计，我们可以得到似然方程为这个方程只能求数值解最大似然估计有一个简单而有用的性质:如果是的最大似然估计，则对任一函数，其最大似然估计为，该性质称为最大似然估计的不变性，从而使一些复杂结构的参数的最大似然估计的获得变得容易了。

例9.1.14设是来自正态总体的样本，在例9.1.11中已经求得和的最大似然估计为于是由最大似然估计的不变性可得如下参数的最大似然估计，它们是 标准差的最大似然估计是概率的最大似然估计是§9.2估计量的评价标准我们已经看到点估计有各种不同的求法，为了在不同的点估计之间进行比较选择，就必须对各种不同的点估计的好坏给出评价标准数理统计中给出了众多的估计量的评价标准，对同一估计量使用不同的评价标准可能会得到完全不同的结论，因此，在评价某一个估计好坏时首先要说明是在那一个标准下，否则所论好坏则毫无意义但不管怎么说，有一个基本标准是所有的估计都应该满足的，它是衡量一个估计是否可行的必要条件，这就是估计的相合性，我们就从相合性开始9.2.1相合性我们知道，点估计是一个统计量，因此它是一个随机变量，在样本量一定的条件下，我们不可能要求它完全等同于参数的真实取值但如果我们有足够的观测值，根据格里纹科定理，随着样本量的不断增大，经验分布函数逼近真实分布函数，因此完全可以要求估计量随着样本量的不断增大而逼近参数真值，这就是相合性，严格定义如下定义9.2.1设为未知参数，是的一个估计量，是样本容量，若对任何一个，有或则称为参数的相合估计（量）或一致估计（量）。

相合性被认为是对估计的一个最基本的要求，如果一个估计量，在样本量不断增大时，它都不能把被估参数估计到任意指定的精度，那么这个估计是很值得怀疑的通常，不满足相合性要求的估计一般不予考虑，证明估计的相合性一般可应用大数定律或直接由定义来证若把依赖于样本量的估计量看作一个随机变量序列，相合性就是依概率收敛于，所以证明估计的相合性可应用依概率收敛的性质及各种大数定律例9.2.1设是来自正态总体的样本，则由辛钦大数定律及依概率收敛的性质知：是的相合估计；是的相合估计；也是的相合估计由此可见参数的相合估计不止一个在判断估计的相合性时，下述两个定理是很有用的定理9.2.1设是的一个估计量，若则是的相合估计定理9.2.2若分别是的相合估计，是的连续函数，则是的相合估计由大数定律及定理9.2.2，我们可以看到，矩估计一般都具有相合性，比如：样本均值是总体均值的相合估计；样本标准差是总体标准差的相合估计例9.2.2设一个试验有三种可能结果，其发生概率分别为现做了次试验，观测到三种结果发生的次数分别为，可以采用频率替换方法估计，由于可以有三个不同的的表达式：从而可以给出三种不同的频率替换估计，它们分别是：由大数定律，分别是的相合估计，由定理9.2.2知，上述三个估计都是的相合估计。

9.2.2无偏性相合性是大样本下估计量的评价标准，对小样本而言，需要一些其他的评价标准，无偏性便是一个常见的评价标准定义9.2.2设是的一个估计，的参数空间为，若对任意的，有则称是的无偏估计，否则称为有偏估计无偏性的要求可以改写为，这表示无偏估计没有系统偏差当我们使用估计时，由于样本的随机性，与总是有偏差的，这种偏差时而（对某些样本观测值）为正，时而（对另一些样本观测值）为负，时而大，时而小无偏性表示，把这些偏差平均起来。