第七章参数估计.doc

第七章 参数估计 统计推断的基本问题可以分为两大类，一类是估计问题，另一类是假设检验问题．本章讨论总体参数的点估计和区间估计．§1 点 估 计 设总体X的分布函数的形式为已知，但它的一个或多个参数为未知，借助于总体X的一个样本来估计总体未知参数的值的问题称为参数的点估计问题．例1 在某炸药制造厂，一天中发生着火现象的次数X是一个随机变量，假设它服从以>o为参数的泊松分布，参数为未知．现有以下的样本值，试估计参数． 解 由于X，故有＝E(X)．我们自然想到用样本均值来估计总体的均值E(X)．现由已知数据计算得到 得E(X)＝的估计为1．22． 口.176.点估计问题的一般提法如下：设总体X的分布函数的形式为已知，是待估参数．X，，X：，…，X是X的一个样本，是相应的一个样本值．点估计问题就是要构造一个适当的统计量()，用它的观察值（）作为未知参数的近似值．我们称()为的估计量，称()为的估计值．在不致混淆的情况下统称估计量和估计值为估计，并都简记为．由于估计量是样本的函数．因此对于不同的样本值，的估计值一般是不相同的 例如在例1中，我们用样本均值来估计总体均值．即有估计量 下面介绍两种常用的构造估计量的方法：矩估计法和最大似然估计法．(一)矩估计法 设X为连续型随机变量，其概率密度为Zf(x；)，或X为离散型随机变量，其分布律为P{X＝x}＝p(x；)，其中为待估参数，是来自X的样本．假没总体X的前k阶矩(其中Rx是X可能取值的范围)存在．一般来说，它们是的函数．基于样本矩： 多于一个未知参数时，可同样讨论．· 177·依概率收敛于相应的总体矩 (i=l，2，…，k)，样本矩的连续函数依概率收敛于相应的总体矩的连续函数(见第六章§2)，我们就用样本矩作为相应的总体矩的估计量，而以样本矩的连续函数作为相应的总体矩的连续函数的估计量．这种估计方法称为矩估计法．矩估计法的具体做法如下：设 这是一个包含是k未知参数的联立方程组．一般来说，可以从中解出，得到 以Ai分别代替上式中的，i＝1，2，…，k，就以 分别作为，i＝1，2，…，k的估计量，这种估计量称为矩估计量．矩估计量的观察值称为矩估计值．例2 设总体X在[a，b]上服从均匀分布，a，b未知．是来自X的样本，试求a，b的矩估计量． ． 178． ·自这一方程组解得 解 所得结果表明，总体均值与方差的矩估计量的表达式不因不同的总体分布而异． (二)最大似然估计法 若总体X属离散型，其分布律P{X ． 179．=x}=p(x; )，的形式为已知，为待估参数，是可能取值的范围．设是来自X的样本，则的联合分布律为 又设是相应于样本的一个样本值．易知样本取到观察值的概率，亦即事件发生的概率为 这一概率随的取值而变化，它是的函数。

L()称为样本的似然函数(注意，这里是已知的样本值．它们都是常数)．关于最大似然估计法，我们有以下的直观想法：现在已经取到样本值了，这表明取到这—一样本值的概率了L()比较大．我们当然不会考虑那些不能使样本，出现的作为估计，再者，如果已知当使取很大值，而中的其它的值使L()取很小值，我们自然认为取作为未知参数的估计值，较为合理．由费希尔(R．A．Fisher)引进的最大似然估计法，就是固定样本观察值，在取值的nT能范围内挑选使似然函数达到最大的参数值，作为参数的估计值．即取使 这样得到的与样本值，有关，常记为 ()，称为参数的最大似然估计值，而相应的统计量 ()称为参数的最大似然估计量．若总体X届连续型，其概率密度．f (x；)，的形式已知，为待估参数，是可能取值的范围．设是来自X ．180．的样本，则的联合密度为 设是相应于样本的一个样本值，则随机点()落在点()的邻域(边长分别为的n维立方体)内的概率近似地为 其值随的取值而变化，与离散型的情况——样，我们取的估计值使概率(1．3)取到最大值，但因子不随而变，故只需考虑函数 的最大值．这里称为样本的似然函数．若 则称 ()为的最大似然估计值，称 ()为的最大似然估计量．这样，确定最大似然估计量的问题就归结为微分学中的求最大值的问题丁． 以从方程 ·181’ 求得，而从后一方程求解往往比较方便．(1．6)称为对数似然方程。

例4 设．是来自X的一个样本，试求参数p的最大似然估计量．解 设是相应于样本的一个样本值．X的分布律为 故似然函数为 解得p的最大似然估计值 p的最大似然估计量为 我们看到这一估计量与矩估计量是相同的． 口最大似然估计法也适用于分布中含多个未知参数的情况．这时，似然函数L是这些未知参数的函数．分别令 ．182．解上述由k个方程组成的方程组，即可得到各未知参数(i＝1，2，…，是)的最大似然估计值(1．7)称为对数似然方程组．例5 设为未知参数，是来自X的一个样本值．求卢，f2的最大似然估计量．解 X的概率密度为 似然函数为 它们与相应的矩估计量相同． 口例6 设总体X在[a,b]上服从均匀分布，a,b未知，是一个样本值．试求a,b的最大似然估计量． ·183． 估计值为 d，厶的最大似然估计量为 此外，最大似然估计具有下述性质：设的函数具有单值反函数又设是X的概率分布中参数的最大似然估计，则的最大似然估计．事实上，因为是的最大似然估计，于是有 上式可写成 当总体分布中含有多个未知参数时，也具有上述性质．例如，在例5中已得到的最大似然估计为 ．184· 我们还要提到的是，对数似然方程(1．6)或对数似然方程组(1．?)除了一些简单的情况外，往往没有有限函数形式的解，这就需要用数值方法求近似解．常用的算法是牛顿一拉弗森(Newton—Raphson)算法，对于(1．7)有时也用拟牛顿算法，它们都是迭代算法，读者可参考有关的参考书．§2 基于截尾样本的最大似然估计 在研究产品的可靠性时，需要研究产品寿命T的各种特征．产品寿命T是一个随机变量，它的分布称为寿命分布．为了对寿命分布进行统计推断，就需要通过产品的寿命试验，以取得寿命数据．一种典型的寿命试验是，将随机抽取的n个产品在时间t＝0时，同时投入试验，直到每个产品都失效．记录每一个产品的失效时间，这样得到的样本(即由所有产品的失效时间所组成的样本)叫完全样本．然而产品的寿命往往较长，由于时间和财力的限制，我们不可能得到完全样本，于是就考虑截尾寿命试验．截尾寿命试验常用的有两种：一种是定时截尾寿命试验．假设将随机抽取的n个产品在时间t＝0时同时投入试验，试验进行到事先规定的截尾时间停止．如试验截止时共有m个产品失效，它们的失效时间分别为 此时m是一个随机变量，所得的样本称为定时截尾样 ． 185·本．另一种是定数截尾寿命试验．假设将随机抽取的n个产品在时间t＝0时同时投入试验，试验进行到有m个(m是事先规定的，m0未知．设有n个产品投入定数截尾试验，截尾数为m，得定数截尾样本，现在要利用这一样本来估计未知参数 (即产品的平均寿命)．在时间区间有m个产品失效，而有n—m个产品在t。

时尚未失效，即有n一m个产品的寿命超过我们用最大似然估计法来估计，为了确定似然函数，需要知道上述观察结果出现的概率．我们知道一个产品在 失效的概率近似地为其余n一m个产品寿命超过的概率为故上述观察结果出现的概率近似地为 其中为常数．因忽略一个常数因子不影响的最大似然估计，故可取似然函数为 ． 186· 对数似然函数为 于是得到的最大似然估计为 其中称为总试验时间，它表示直至时刻为止n个产品的试验时间的总和．对于定时截尾样本 (其中是截尾时间)，与上面的讨论类似，可得似然函数为的最大似然估计为 其中称为总试验时间，它表示直至时刻为止n个产品的试验时间的总和．例 设电池的寿命服从指数分布，其概率密度为 >0未知．随机地取50只电池投入寿命试验，规定试验进行到其中有15只失效时结束试验，测得失效时间(小时)为 115 119 131 138 142 147 148 155 ．187．158 159 163 166 167 170 172试求电池的平均寿命"的最大似然估计．解 n＝50，m＝15，＝115+119+…+170十172+(50—15)X 172＝8270，得的最大似然估计为 §3 估计量的评选标准 自前一节可以看到，对于同一参数，用不同的估计方法求出的估计量可能不相同，如上节的例2和例6．而且，很明显，原则上任何统计量都可以作为未知参数的估计量．我们自然会问，采用哪一个估计量为好呢?这就涉及到用什么样的标准来评价估计量的问题．下面介绍几个常用的标准．1‘无偏性没X，，X；，…，X。

是总体X的一个样本, 是包含在总体X的分布中的待估参数，这里是的取值范围．无偏性 若估计量的数学期望存在，且对于任意有 则称是的无偏估计量．在科学技术中一称为以作为的估计的系统误差．无偏估计的实际意义就是无系统误差．例如，设总体X的均值为，方差>o均未知，由第六章(2．19)、(2．20)知 这就是说不论总体服从什么分布，样本均值是总体均值的无偏估计；样本方差 是总体方差的无偏估 ．188·计‘而估计量却不是的无偏估计，因此我们一般取作为的估计量．例1 设总体X的k阶矩存在，又设是X的一个样本．试证明不论总体服从什么分布，k阶样本矩是k阶总体矩的无偏估计量．例2 设总体X服从指数分市，其概率密度为 其中参数>0为未知，又设是来自X的样本，试证和nZ＝n[min()]都是的无偏估计量．证 因为，所以是的无偏估计量．而Z＝mtn()具有概率密度 即nZ也是参数的无偏估计量． 口由此可见一个未知参数可以有不同的无偏估计量．事实上，在本例中中的每一个都可以作为的无偏估计量．2‘有效性 ： · 189·现在来比较参数的两个无偏估计量和，如果在样本容量n相同的情况下，的观察值较更密集在真值的附近，我们就认为较为理想．由于方差是随机变量取值与其数学期望(此时数学期望E()＝E()＝)的偏离程度的度量，所以无偏估计以方差小者为好．这就引出了估计量的有效性这。