（ppt） 第七章 参数估计

第七章 参数估计1 1 河北科技大河北科技大学学* *第七章 参数估计本章内容 点估计 估计量的评价标准 区间估计第七章 参数估计2 2 河北科技大河北科技大学学* *点估计的概念矩估计法最大似然估计法第一节 点估计第七章 参数估计3 3 河北科技大河北科技大学学* * 现在我们来介绍一类重要的统计推断问题 参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数. 参数估计估计废品率估计新生儿的平均体重估计湖中鱼数 估计平均降雨量第七章 参数估计4 4 河北科技大河北科技大学学* * 在参数估计问题中，假定总体分布形式已知，未知的仅仅是一个或几个参数.第七章 参数估计5 5 河北科技大河北科技大学学* *这类问题称为参数估计.参数估计问题的一般提法X1, X2, , Xn要依据该样本对参数作出估计，或估计的某个已知函数 .现从该总体中抽取样本设有一个统计总体，总体的分布函数向量) . 为 F(x, )，其中 为未知参数 ( 可以是第七章 参数估计6 6 河北科技大河北科技大学学* *参数估计点估计区间估计第七章 参数估计7 7 河北科技大河北科技大学学* *定义1 总体X的未知参数的(点)估计(point) estimate 通常的做法是构造适当的统计量用其观测值作为的点估计.所选用的统计量 称为的(点)估计量相应地，称为的(点)估计值.有时，(点)估计量、(点)估计值统称为(点)估计，一 点估计的概念estimator 常用的(点)估计法：矩估计法，最大似然估计法并简记为此数可以作为的真值的近似.指的是一个数，第七章 参数估计8 8 河北科技大河北科技大学学* *解例1第七章 参数估计9 9 河北科技大河北科技大学学* *二 矩估计法Moment estimation 用矩法得到的估计称为矩估计Moment estimate用“总体矩等于样本矩”列出矩方程（组），做法：解之即得矩估计用样本矩代替相应总体矩得到估计的方法称为矩估计法，简称矩法.第七章 参数估计1010 河北科技大河北科技大学学* *设 X1, X2, , Xn 来自总体X的样本记总体k阶矩为样本k阶矩为第七章 参数估计1111 河北科技大河北科技大学学* * 用样本矩来估计总体矩,用样本矩的连续函数来估计总体矩的连续函数,从而得出参数估计，这种估计法称为矩估计法.记总体k阶中心矩为样本k阶中心矩为第七章 参数估计1212 河北科技大河北科技大学学* *那么用诸 的估计量 Ai分别代替上式中的诸 , 即可得诸 的矩估计量 ：设总体的分布函数中含有k个未知参数 都是这k个参数的函数,记为：,那么它的前k阶矩一般i=1,2,k从这k个方程中解出j=1,2,kj=1,2,k第七章 参数估计1313 河北科技大河北科技大学学* *矩估计法的具体步骤:第七章 参数估计1414 河北科技大河北科技大学学* * 例1 设总体X在区间(a, b)上服从均匀分布(a, b未知). X1, X2, , Xn是样本，试求a, b的矩估计量.( )存在，( 未知).例2 设总体求的矩估计量.注 无论总体分布如何，只要总体期望( )、方差总有第七章 参数估计1515 河北科技大河北科技大学学* *解解方程组得到矩估计量分别为例2第七章 参数估计1616 河北科技大河北科技大学学* *上例表明: 总体均值与方差的矩估计量的表达式，不因不同的总体分布而异.一般地:第七章 参数估计1717 河北科技大河北科技大学学* *解例3第七章 参数估计1818 河北科技大河北科技大学学* * 矩估计应视为一个原则而不是确定的公式 在某些情况下，参数可以通过不止一种方式考虑那种使用较低阶矩的估计总体矩存在，且未知参数能表达成总体矩的函数 使用矩法的前提条件 如果 是的矩估计，则 是 的矩估计表为矩的函数，而导致不同的矩估计这时优先第七章 参数估计1919 河北科技大河北科技大学学* *例4 设总体X服从泊松分布，X()，但参数未知，(X1, X2, , Xn)是来自总体X的样本，求未知参数的矩估计量. 解1: X的分布律 ：总体的一阶矩 E(X) = 用样本矩代替总体矩得的矩估计量 ,第七章 参数估计2020 河北科技大河北科技大学学* *解2总体的二阶矩 用样本矩代替总体矩得的矩估计量 ,可见，矩估计量不唯一.第七章 参数估计2121 河北科技大河北科技大学学* *三 最大似然估计法引例 袋中有10只黑白两种颜色的球，比例为91，希望知道是黑球多还是白球多（即黑球所占比例 p是 90%还是10%）最大似然原理就是取能使观测到已知样本值的概率为最大的参数值作为未知参数的估计值(在试验中概率最大的事件最有可能出现)18211922FisherGauss第七章 参数估计2222 河北科技大河北科技大学学* *X1, X2, , Xn利用“最大似然原理”获得的估计称为最大似然估计.MLE 最大似然法具体说来， 设总体 X 的pdf 为 likelihood function 似然函数样本，样本值最大似然估计量最大似然估计值这种通过求似然函数的最大值点去求点估计的方法称为最大似然估计法Maximum likelihood estimation第七章 参数估计2323 河北科技大河北科技大学学* *解似然方程并将 改记为 得求MLE的一般思路 写出似然函数（参数 的函数）对数似然函数log-likelihood function 设总体 X 的pdf 为 似然方程 取对数令最大似然估计量最大似然估计值相应地，第七章 参数估计2424 河北科技大河北科技大学学* *例4 设总体X b(1, p)，求 p 的最大似然估计量.求 的( 未知).最大似然估计量.例3 设总体例5 设总体X具有分布律其中为未知参数.今有容量为16的样本观测值: 1, 1, 1, 3, 2, 1, 3, 2, 2, 1, 2, 2, 3, 1, 1, 2.试求的最大似然估计.X 1 2 3pk 第七章 参数估计2525 河北科技大河北科技大学学* *解X 的似然函数为例3第七章 参数估计2626 河北科技大河北科技大学学* *第七章 参数估计2727 河北科技大河北科技大学学* *它们与相应的矩估计量相同.第七章 参数估计2828 河北科技大河北科技大学学* *分布形式已知 使用最大似然法的前提条件 最大似然估计并不一定都通过求导数求得 原则上还应验证似然方程的解确实使似然 如果 是的最大似然估计，则 是 的最大似然估计例6 设求的最大似然估计 函数达到最大第七章 参数估计2929 河北科技大河北科技大学学* *无偏性有效性相合性第二节 估计量的评价标准第七章 参数估计3030 河北科技大河北科技大学学* *一、问题的提出 从前一节可以看到, 对于同一个参数, 用不同的估计方法求出的估计量可能不相同,那么哪一个估计量好？好坏的标准是什么?下面介绍几个常用标准.第七章 参数估计3131 河北科技大河北科技大学学* *是总体均值例1 样本均值定义1 设 是 的估计量.一 无偏性若对任意，有则称 是 的无偏估计，Unbiased 一般来说，S不是的无偏估计. 例2 设总体 X 服从均值为的指数分布, 0未知， Z= minX1, X2, , Xn,证明nZ是的无偏估计 样本方差 S2 是总体方差2 的无偏估计.否则称为有偏估计.的无偏估计，无系统误差第七章 参数估计3232 河北科技大河北科技大学学* *证例3第七章 参数估计3333 河北科技大河北科技大学学* *证例4第七章 参数估计3434 河北科技大河北科技大学学* * 由以上例可知,同一个参数可以有不同的无偏估计量.第七章 参数估计3535 河北科技大河北科技大学学* * 无偏性虽然是评价估计量的一个重要标准,而且在许多场合是合理的, 必要的。然而，有时一个参数的无偏估计可能不存在。第七章 参数估计3636 河北科技大河北科技大学学* *比 有效.且至少有一个 使得上述不等号严格成立，则称若对任意的,二 有效性是的两个无偏估计,定义2 设Effective 第七章 参数估计3737 河北科技大河北科技大学学* *证明例5 (续例4)第七章 参数估计3838 河北科技大河北科技大学学* *定义3 称 为未知参数 的三 相合性 注 相合性是对估计量的一个最基本要求.利用依概率收敛的定义利用大数定律Consistent 对任意0，有相合估计，若 如果在样本量不断增大时，估计量都不能把被估参数估计到任意指定的精度, 那么这个估计是不可取的.相合性的证明：第七章 参数估计3939 河北科技大河北科技大学学* * 样本均值是总体均值的相合估计. 样本方差和样本二阶中心矩是总体方差 样本标准差是总体标准差的相合估计. 的相合估计.第七章 参数估计4040 河北科技大河北科技大学学* *说明估计量的评选的三个标准无偏估计最小方差无偏估计相合估计 相合性是对估计量的一个基本要求, 不具备相合性的估计量是不予以考虑的. 由最大似然估计法得到的估计量, 在一定条件下也具有相合性. 估计量的相合性只有当样本容量相当大时,才能显示出优越性, 这在实际中往往难以做到,因此,在工程中往往使用无偏性和有效性这两个标准.第七章 参数估计4141 河北科技大河北科技大学学* *置信区间的概念与构造方法单个正态总体参数的区间估计两个正态总体参数的区间估计大样本区间估计单侧置信区间第三节 区间估计第七章 参数估计4242 河北科技大河北科技大学学* * 引言 前面，我们讨论了参数点估计. 它是用样本算得的一个值去估计未知参数. 但是，点估计值仅仅是未知参数的一个近似值，它没有反映出这个近似值的误差范围，使用起来把握不大. 区间估计正好弥补了点估计的这个缺陷 .第七章 参数估计4343 河北科技大河北科技大学学* *则称(随机)区间 为的置信水平(或置信度)为就是找两个统计量T1 、T2，以它们为定义1 设 是总体参数，对于给定的 (0 1)，若有两个统计量使得对任意的， Interval estimationConfidence interval，CI 分别称为（双侧）置信下限和置信上限一 置信区间的概念与构造方法端点构作区间(T1 , T2)，一旦有了样本，就把的真值估计在此区间内 所谓区间估计1- 的置信区间. 第七章 参数估计4444 河北科技大河北科技大学学* *关于定义的说明第七章 参数估计4545 河北科技大河北科技大学学* *置信区间及置信水平的解释 置信区间的置信水平为1- 指的是在大量使用该置信区间时，至少有100(1-)%的区间盖住 . 第七章 参数估计4646 河北科技大河北科技大学学* *Step1 选的一个“好”的点估计T；枢轴变量法Step2 找 T 和 的函数W,其分布F 已知且与无关；Step3 对于给定的置信水平1，取分布F 的 /2 分位点 w/2 和 1- /2 分位点w1-/2，使得Pw/2 W w1-/2= 1Step4 将不等式 w/2 W w1-/2 改写成即为 的1 CI 枢轴变量W第七章 参数估计4747 河北科技大河北科技大学学* *CI 的长度 L 反映了区间估计的精度与 成反比对于给定的1-，可以根据精度的要求确定如上，L =一般不是我们所能控制的.样本容量的大小：区间估计的精度与1-成正比第七章 参数估计4848 河北科技大河北科技大学学* *二、正态总体均值与方差的区间估计1.I 单个总体的情况第七章 参数估计4949 河北科技大河北科技大学学* *推导过程如下:第七章 参数估计5050 河北科技大河北科技大学学* *第七章 参数估计5151 河北科技大河北科技大学学* *这样的置信区间常写成其置信区间的长度为第七章 参数估计5252 河北科技大河北科技大学学* *参数条件枢轴变量及其分布1置信区间（CI） 2 已知 2 未知 2 未知二 单个正态总体参数的区间估计总体X N(, 2), 样本 置信水平1第七章 参数估计5353 河