概率论第六章教材

1、第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第1 1页页 第六章 参数估计 6.1 点估计的几种方法 6.2 点估计的评价标准 6.3 最小方差无偏估计 6.4 贝叶斯估计 6.5 区间估计 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第2 2页页 一般常用 表示参数，参数 所有可能取值 组成的集合称为参数空间，常用表示。参 数估计问题就是根据样本对上述各种未知 参数作出估计。 参数估计的形式有两种：点估计与区间估 计。 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第3 3页页 设 x1, x2, xn 是来自总体 X 的一个样本， 我们用一个统计量 的取值作 为 的估计值， 称为 的点估计（量）， 简称估计。在这里如何构造统计量 并没 有明确的规定，只要它满足一定的合理性 即可。这就涉及到两个问题： 其一 是如何给出估计，即估计的方法问题； 其二 是如何对不同的估计进行评价，即估 计的好坏判断标准。 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第4 4页页 6.1 点估计的几种方法 6.1

2、.1 替换原理和矩法估计 一、矩法估计 替换原理是指用样本矩及其函数去替换相应的 总体矩及其函数，譬如： 用样本均值估计总体均值E(X)，即 ； 用样本方差估计总体方差Var(X)，即 用样本的 p 分位数估计总体的 p 分位数， 用样本中位数估计总体中位数。 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第5 5页页 例6.1.1 对某型号的20辆汽车记录其每加仑汽 油的行驶里程(km)，观测数据如下： 29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9 经计算有 由此给出总体均值、方差和中位数的估计分别 为: 28.695, 0.9185 和 28.6。 矩法估计的实质是用经验分布函数去替换总体 分布，其理论基础是格里纹科定理。 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第6 6页页 二、概率函数P(x,)已知时未知参数的矩法估计 设总体具有已知的概率函数 P(x, 1, , k)， x1

3、, x2 , , xn 是样本，假定总体的k阶原点矩k 存在，若 1, , k 能够表示成 1, , k 的函 数 j = j(1, ,k)，则可给出诸 j 的矩法估计 为 其中 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第7 7页页 例6.1.2 设总体服从指数分布，由于EX=1/， 即 =1/ EX，故 的矩法估计为 另外，由于Var(X)=1/ 2，其反函数为 因此，从替换原理来看，的矩法估计也可取为 s 为样本标准差。这说明矩估计可能是不唯一的 ，这是矩法估计的一个缺点，此时通常应该尽量 采用低阶矩给出未知参数的估计。 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第8 8页页 例6.1.3 x1, x2, , xn是来自(a,b)上的均匀分布 U(a,b)的样本，a与b均是未知参数，这里k=2 ，由于 不难推出 由此即可得到a, b的矩估计： 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第9 9页页 6.1.2 极(最)大似然估计 定义6.1.1 设总体的概率函数为P(x; )，是参 数 可能取值的参数空

4、间，x1, x2 , , xn 是样 本，将样本的联合概率函数看成 的函数，用 L( ; x 1, x2, , xn) 表示，简记为L( )， 称为样本的似然函数。 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第1010页页 如果某统计量 满足 则称 是 的极(最)大似然估计，简记为MLE （Maximum Likelihood Estimate）。 人们通常更习惯于由对数似然函数lnL( )出发寻 找 的极大似然估计。 当L( )是可微函数时，求导是求极大似然估计最 常用的方法，对lnL( )求导更加简单些。 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第1111页页 例6.1.6 设一个试验有三种可能结果，其发生概 率分别为 现做了n次试验，观测到三种结果发生的次数分 别为 n1 , n2 , n3 (n1+ n2+ n3 = n)，则似然函数为 其对数似然函数为 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第1212页页 将之关于 求导，并令其为0得到似然方程 解之，得 由于 所以 是极大值点。 第六章第六章

5、 参数估计参数估计 华东师范大学华东师范大学 * * 第第1313页页 例6.1.7 对正态总体N(, 2)，=(, 2)是二维 参数，设有样本 x1, x2 , , xn，则似然函数及 其对数分别为 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第1414页页 将 lnL(, 2) 分别关于两个分量求偏导并令 其为0, 即得到似然方程组 (6.1.9) (6.1.10 ) 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第1515页页 解此方程组，由(6.1.9)可得 的极大似然估计 为 将之代入(6.1.10)，得出 2的极大似然估计 利用二阶导函数矩阵的非正定性可以说明上述 估计使得似然函数取极大值。 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第1616页页 虽然求导函数是求极大似然估计最常用的 方法，但并不是在所有场合求导都是有效 的。 例6.1.8 设 x1, x2 , , xn 是来自均匀总体 U(0, )的样本，试求 的极大似然估计。 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第

6、1717页页 解 似然函数 要使L( )达到最大，首先一点是示性函数取 值应该为1，其次是1/ n尽可能大。由于1/ n 是 的单调减函数，所以 的取值应尽可能小 ，但示性函数为1决定了 不能小于x(n)，由此 给出 的极大似然估计： 。 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第1818页页 极大似然估计有一个简单而有用的性质：如果 是 的极大似然估计，则对任一函数 g( )， 其极大似然估计为 。该性质称为极大似然 估计的不变性，从而使一些复杂结构的参数的 极大似然估计的获得变得容易了。 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第1919页页 例6.1.9 设 x1 , x2 , , xn是来自正态总体N( , 2) 的样本，则和 2的极大似然估计为 ，于是由不变性可得如下参数的极大似然估计 ，它们是: 标准差 的MLE是 ； 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第2020页页 概率 的MLE是 ； 总体0.90分位数 x0.90= + u0.90 的MLE是 ，其中u0.90为标准正态分布的0

7、.90分位数。 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第2121页页 6.2 点估计的评价标准 6.2.1 相合性 我们知道，点估计是一个统计量，因此它是一个随 机变量，在样本量一定的条件下，我们不可能要求 它完全等同于参数的真实取值。但如果我们有足够 的观测值，根据格里纹科定理，随着样本量的不断 增大，经验分布函数逼近真实分布函数，因此完全 可以要求估计量随着样本量的不断增大而逼近参数 真值，这就是相合性，严格定义如下。 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第2222页页 定义6.2.1 设 为未知参数， 是 的一个估计量，n 是样本容量，若对任 何一个0，有 (6.2.1) 则称 为 参数的相合估计。 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第2323页页 相合性被认为是对估计的一个最基本要求, 如果一个估计量, 在样本量不断增大时， 它都不能把被估参数估计到任意指定的精 度, 那么这个估计是很值得怀疑的。 通常 , 不满足相合性要求的估计一般不予考虑 。证明估计的相合性一般可应用大数定律 或

8、直接由定义来证. 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第2424页页 若把依赖于样本量n的估计量 看作一个 随机变量序列,相合性就是 依概率收敛 于 ,所以证明估计的相合性可应用依概 率收敛的性质及各种大数定律。 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第2525页页 在判断估计的相合性时下述两个定理是很有用 的。 定理6.2.1 设 是 的一个估计量，若 则 是 的相合估计， 定理6.2.2 若 分别是 1, , k 的相合估 计， =g( 1 , , k) 是 1, , k 的连续函数，则 是 的相合估计。 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第2626页页 例6.2.2 设 x1, x2 , , xn 是来自均匀总体U(0, ) 的样本，证明 的极大似然估计是相合估计 。 证明：在例6.1.7中我们已经给出 的极大似然 估计是 x(n)。由次序统计量的分布，我们知 道 x(n) 的分布密度函数为 p(y)=nyn-1/ n, y 1， 比 有效。这表明用全 部数据的平均估计总体均值要比只使

9、用部分数 据更有效。 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第3333页页 例6.2.7 均匀总体U(0, )中 的极大似然估计是 x(n)，由于 ，所以x(n)不是 的无偏估计， 而是 的渐近无偏估计。经过修偏后可以得到 的一个无偏估计： 。且 另一方面，由矩法我们可以得到 的另一个无偏 估计 ，且 由此，当n1时， 比 有效。 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第3434页页 6.2.4 均方误差 无偏估计不一定比有偏估计更优。 评价一个点估计的好坏一般可以用：点估计值 与参数真值 的距离平方的期望，这就是下式 给出的均方误差 均方误差是评价点估计的最一般的标准。我们 希望估计的均方误差越小越好。 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第3535页页 注意到 ，因此 (1) 若 是 的无偏估计，则 ， 这说明用方差考察无偏估计有效性是合理的。 (2) 当 不是 的无偏估计时，就要看其均方 误差 。 下面的例子说明：在均方误差的含义下有些有偏 估计优于无偏估计。 第六章第六章 参数估计参数估计 华东师范大学华东师范大学 * * 第第3636页页 例6.2.8 对均匀总体U(0, )，由 的极大似然估计得 到

《概率论第六章教材》由会员我**分享，可在线阅读，更多相关《概率论第六章教材》请在金锄头文库上搜索。