数理统计PPT(研究生)2-3

数 理 统 计 Mathematical Statistics 2 2.3 2.3 点估计的优良性准则点估计的优良性准则 n 无偏性 n最小方差无偏性 n相合性 3 从上节介绍的内容可以看出，对总体中同一参 数 ，采用不同的点估计法求到的估计量 可能是一样 的，但多数情形是：不同方法寻找的估计量是不同的 。 问题 (1)对于同一个参数究竟采用哪一个估计量好? (2)评价估计量的标准是什么? 例如对于总体 ，参数 的矩估计和 最大似然估计是不相同的。 4 一、 无偏性 设总体分布含有未知参数 ，设 是参 数 的一个估计量，在一次抽样中，其估计值与参数真 值之间存在着偏差 ，这种偏差是随机的。因此评价 一个估计量是否合理，不能根据一次估计的好坏，而应 该根据多次反复使用这个统计量的“平均”效果来评价 。 5 定义2.3.1 设 是参数 的一个估计 量，若对任意的 ，有 ，则称 是 参数 的无偏估计量。令 ，称 是 关于 的偏差，而无偏估计就是偏差为零的 估 计。 如果 则称 是参数 的渐近无偏估计 量。 6 例2.3.1 设总体的数学期望和方差分别为 ， 是总体 的样本，则样本均值 和方差 分别是参数 的无偏估计量。 解 有时对总体的同一个参数可能有很多个无偏估 计量；有时找出的无偏估计量有明显的弊病。 7 例如 是来自总体 的样本。总体 的数学期望为 。定义参数 的估计量为 ， ，可以验证 ，这说明估计量 是参数 的无偏估计量。又如，总体 是 来自总体 的样本，用 作为 的估计，可以验 证该估计量 是无偏的，即 8 二 、最小方差无偏性 定义2.3.2 设 和 都是未知参数 的无偏估计， 并且满足 则称 较 有效 。 对任意的 ，qQ 9 例2.3.2 设总体 的数学期望为 是来 自总体 的样本，定义如下两个关于参数 的估量： ， 。问 和 哪一个有效？ 解 10 一般地，如果对给定的样本 和可估函数 （指 存在无偏估计）， 为 的某个无偏估计，其 方差比任何其他 的无偏估计的方差都一致的小，则 这个估计就称为一致最小方差无偏估计，简称UMVU估计。 仅对两个无偏估计量，通过比较它们的方差大小来判断 优劣。如果面对众多的无偏估计量，如何寻找它们的最 小方差？ 11 定义2.3.2 如果存在一个 的无偏估计量 ，使得对 的任意无偏估计量 ， 有 ，对一切 ，则称 为 的UMVU估 计量。 12 定理2.3.1 (Cramer-Rao不等式) 设总体 的概率 分布或密度函数为 ，其中 为未知参数， 为来自总体 的样本， 为 的无偏估计量，满足如下条件： 1）集合 与参数 无关； 13 2） 存在并且可以在 的积分 号下对 求偏导数， 存在， ，则对任意 ， （2.3.1 ） 其中 称为方差下界（或称为C-R下 界）， 称为Fisher信息量。 14 另外还可以证明Fisher信息量的另一种表达式 （ 2.3.2） 特别地，由公式（2.3.1）可得 当 时 ， ，对一切 （2.3.3） 15 注：按信息量的定义 ,显然 与 之间有区别，可证明它们之间有如下关系 因为 所以公式（2.3.4）成立 。 （2.3.4 ） 16 例2.3.3 设总体 服从指数分布，其密度函数为 为来自总体 的样本，求参数 的C-R 方差下界。 解 我们通常将方差达到C-R下界的无偏估计称为有效 估计。求解有效估计量有一种简单明了的方法。 17 1） 为 的有效估计量的充要条件是 可化为 形式 ，即 (2.3.5) 其中 与似然函数形式上完全一样， 仅是 的函数，并且 为 的 无偏估计量. 定理2.3.2 在定理2.3.1的条件下，则 18 4） 的有效估计量一定是 的惟一最大似 然估计量。 3） 的有效估计量是惟一的； 与 之间的关系 （2.3.7） 2） 与 之间的关系（2.3.6） 19 例2.3.4 继续例2.3.3，总体 的密度函数为 为来自总体 的样本，求参数 的有 效估计量。 解 20 例2.3.6 设总体 为总体 的样本，求参数 的有效估计量。 例2.3.5 设总体 为总体 的样本，求参数 的有效估计量。 X 解 解 21 对任何一个待估参数 ，是否一定存在有效估计？ 不一定。对待估参数 ，其UMVU估计可能存在，但 UMVU估计的方差不一定能达到C-R下界。判断待估参数 的有效估计存在与否，主要由 可否化为 的形式为依据。 22 注：对总体 为来自总体 的样本，参数 的C-R不等式不成立，原因是定理2.3.1的 条件1）不满足，因为集合 与参数 有关。 比UMVU估计更广泛使用的概念是均方误差，定义如下： 23 对一个估计量，它的均方误差越小就说明估计的效果 越好，反之，均方误差越大就说明估计的效果越差。 为避免在求平均偏差时由于正负值相抵消的效应，采 用平方偏差，即 ，由此导出均方误差的概念。 24 显然，如果 是 的无偏估计，则 即均方误差越小越好的准则等价于方差越小越好的准则， 这时均方误差和最小方差的概念是一致的。 可以证明 25 则称估计量 为待估参数 的相合估计，又称一 致估计量。 三、 相合性 相合性是对一个估计量的基本要求 不具备相合性的估计量不予以考虑 定义2.3.4 若对任意给定的 ，满足 （2.3.8） 26 证 由公式（2.3.9），可以推导公式（2.3.8）成立 。 因为由切比雪夫不等式知 定理2.3.3 设 为未知参数 的估计量，如果满足 （2.3.9） 则 是 的相合估计量。 27 例2.3.7 在例2.3.5中总体 ，关于参数 的 有效估计量是 ，并且 ， ，所 以，由公式（2.3.9）知， 是参数 的相合估计量。 例2.3.8 设总体 为总体 的样本，证明估计量 是 的相合 估计量。 证 28 进一步研究相合性，可以细分为弱相合（依概率收 敛），强相合（以概率1收敛），矩相合（ 阶矩收敛）， 式（2.3.8）表示的就是弱相合，而式（2.3.9）描述的是矩 相合。强相合和矩相合可推出弱相合，反之则不成立。强 相合与矩相合之间没有从属关系。 29 本节结束，谢谢！本节结束，谢谢！ 30 证 因为 例2.3.1 设总体的数学期望和方差分别为 ， 是总体 的样本，则样本均值 和方差 分别是参数 的无偏估计量。 31 解 显然可验证 和 是参数 的无偏估计。 其次，计算 与 的方差 因为 ，所以 比 有效。 例2.3.2 设总体 的数学期望为 是来 自总体 的样本，定义如下两个关于参数 的估量： ， 。问 和 哪一个有效？ 32 解 考虑 的情形， 例2.3.3 设总体 服从指数分布，其密度函数为 为来自总体 的样本，求参数 的C-R 方差下界。 33 根据公式（2.3.2），计算信息量 由公式（2.3.3），关于 的C-R方差下界为 另一方面，我们已经知道 是 的无偏估计，其 方差为 ，这说明 的方差达到C-R方差下界，则 是 的UMVU估计。 34 例2.3.4 继续例2.3.3，总体 的密度函数为 为来自总体 的样本，求参数 的有 效估计量。 解 因为似然函数 所以 35 由公式（2.3.5）知， 的函数形式是 ，因此估计量 。又因为 ，所以，根据定 理2.3.2知， 是 的有效估计量。进一步地可确定 和 ，因为 ，所以 36 例2.3.5 设总体 为总体 的样本，求参数 的有效估计量。 解 因为 所以 37 由公式（2.3.5）知，因此估计量 。 又因为 ，所以 是 的有效估计量，并且 38 例2.3.6 设总体 为总体 的样本，求参数 的有效估计量。 解 因为 39 可以证 ，说明 是 的有效估计量，但 不是 的有效估计 量，因为 不是统计量，那么 的有效估 计量不存在。 40 特殊情形，当 时， 是 的有效估计量，并 且 ，由公式（2.3.4）知 41 例2.3.8 设总体 为总体 的样本，证明估计量