矩估计和极大似然估计.ppt

1 1/22/22统计推断的过程样样本本总体总体总体总体样本统计量样本统计量样本统计量样本统计量样本统计量样本统计量例如：样本均例如：样本均例如：样本均值、比例、方值、比例、方值、比例、方差差差总体均值、比总体均值、比总体均值、比总体均值、比例、方差等例、方差等例、方差等例、方差等2 2/22/22参数估计的方法矩估计法矩估计法矩估计法矩估计法最小二乘法最小二乘法最小二乘法最小二乘法最大似然法最大似然法最大似然法最大似然法顺序统计量法顺序统计量法顺序统计量法顺序统计量法估估 计计 方方 法法点点 估估 计计区间估计区间估计3 3/22/22 1. 1. 矩法估计矩法估计 参数的点估计2. 2. 极大似然估计极大似然估计4 4/22/22参数估计问题的一般提法参数估计问题的一般提法 设总体设总体 X 的分布函数为的分布函数为 F( x, θ )，，其中其中θ 为未知参数或参数向量，现从该总体中抽样为未知参数或参数向量，现从该总体中抽样,得到样本得到样本X1, X2 , … , Xn . 依样本对参数依样本对参数θ 做出估做出估计，，或估计参数或估计参数 θ 的的某个已知函数某个已知函数 g(θ ) 。

这类问题称为参数估计这类问题称为参数估计参数估计包括：参数估计包括：点估计点估计和和区间估计区间估计5 5/22/22 称该计算称该计算值为值为 µ 的一个点估计的一个点估计 为估计参数为估计参数 µ，需要构造适当的统计量，需要构造适当的统计量 T( X1, X2 , … , Xn )，，一旦当有了样本，就将样本值代入到该统计一旦当有了样本，就将样本值代入到该统计量中，算出一个值作为量中，算出一个值作为 µ 的估计，的估计，6 6/22/22寻求估计量的方法寻求估计量的方法1. 矩估计法矩估计法2. 极大似然法极大似然法3. 最小二乘法最小二乘法4. 贝叶斯方法贝叶斯方法 …我们仅介绍前面的两种参数估计法我们仅介绍前面的两种参数估计法 7 7/22/22其思想是其思想是: 用同阶、同类用同阶、同类的样本矩来估计总体矩的样本矩来估计总体矩 矩估计是基于矩估计是基于“替换替换”思想建立起来的思想建立起来的一种参数估计方法一种参数估计方法 。

最早由英国统计学家最早由英国统计学家 K. 皮尔逊皮尔逊 提出一、一、 矩估计矩估计8 8/22/22矩估计就是用相应的样本矩去估计总体矩矩估计就是用相应的样本矩去估计总体矩9 9/22/22解解：：先求总体的期望先求总体的期望例例1 1：：设总体设总体 X 的概率密度为的概率密度为1010/22/22由矩法，令由矩法，令样本矩样本矩总体矩总体矩解得解得为为α 的矩估的矩估计注意：要在参数上边加上注意：要在参数上边加上“^”，，表示参数的估计它是统计量表示参数的估计它是统计量1111/22/22解解: 先求总体的均值和先求总体的均值和 2 阶原点矩阶原点矩例例2：：设设 X1,X2,…Xn 是取自总体是取自总体 X 的简单样本的简单样本, X 有概率密度函数有概率密度函数令令y=(=(x- -μμ )/)/θθ1212/22/22令令y=(=(x- -μμ )/)/θθ1313/22/22用样本矩用样本矩估计总体矩估计总体矩得1414/22/22例例3：：设总体设总体X的均值为的均值为 ，方差为，方差为 2，，求求  和和 2 的的矩估计。

矩估计解：解：由由 1515/22/22故，均值,方差2的矩估计为即即1616/22/22如：如：正态总体正态总体N(  ,  2) 中中  和和 2 2的矩估计的矩估计为为1717/22/22设总体设总体 X 的分布函数中含的分布函数中含 k 个未知参数个未知参数 步骤一：步骤一：记总体记总体 X 的的 m 阶原点矩阶原点矩 E(Xm)为为 am , , m = = 1,2,1,2,…, ,k. .am( 1, 2,…, k), m =1, 2, …, k. 一般地一般地, am (m = 1, 2, …, K) 是总体分布是总体分布中参数或参数向量中参数或参数向量 ( 1,  2, …,  k) 的函数 故故, am (m=1, 2, …, k) 应记成应记成:1818/22/22步骤二：步骤二：算出样本的算出样本的 m 阶原点矩阶原点矩步骤三：步骤三：令令 得到关于得到关于  1 1, , 2 2, ,…, , k k 的方程组的方程组( (L L≥k)。

一般要求方程组一般要求方程组(1)(1)中有中有 k 个独立方程个独立方程1919/22/22步骤四：步骤四：解方程组解方程组(1), (1), 并记其解为并记其解为 这种参数估计法称为参数的矩估计法，这种参数估计法称为参数的矩估计法，简称矩法简称矩法2020/22/22又如：又如：若总体若总体 X∼ ∼ U(a, b)，求，求a, b的矩估计的矩估计 解：解：列出方程组列出方程组 因因 2121/22/22解上述方程组，得到解上述方程组，得到 a, ,b 的矩估计的矩估计: : 2222/22/22 矩估计的矩估计的优点是：优点是：简单易行简单易行, , 不需要事不需要事先知道总体是什么分布先知道总体是什么分布 缺缺点点是是：：当当总总体体的的分分布布类类型型已已知知时时，，未未充充分分利利用用分分布布所所提提供供的的信信息息；此此外外，，一一般般情情形下，矩估计不具有唯一性形下，矩估计不具有唯一性 2323/22/22二、二、 极大似然估计极大似然估计 极大似然估计法是在总体的分布类型已极大似然估计法是在总体的分布类型已知前提下，使用的一种参数估计法知前提下，使用的一种参数估计法 。

该方法首先由德国数学家该方法首先由德国数学家高斯高斯于于 1821年年提出，其后英国统计学家提出，其后英国统计学家费歇费歇于于 1922年发现年发现了这一方法，研究了方法的一些性质，并给了这一方法，研究了方法的一些性质，并给出了求参数极大似然估计一般方法出了求参数极大似然估计一般方法——极大极大似然估计原理似然估计原理 似然函数的定义似然函数的定义1.设总体设总体X为离散型随机变量，它的分布律为为离散型随机变量，它的分布律为现有样本观察值现有样本观察值x1,x2,…xn,,其中其中xk取值于取值于{ak,k=1,2…}问：问：根据极大似然思想，如何用根据极大似然思想，如何用x1,x2,…xn估计估计??根据极大似然思想根据极大似然思想, ,  值应是在值应是在 中使中使P(AP(A) ) 达到达到最大的那一个最大的那一个, ,也就是使也就是使 样本联合分布律样本联合分布律 最大最大. .2. 最大似然估计法最大似然估计法最大似然估计法最大似然估计法2727/22/22 假定现在我们观测到一组样本假定现在我们观测到一组样本 X1, X2, …, Xn，要去估计未知参数，要去估计未知参数θθ 。

称称 为为θθ 的极大似然估计的极大似然估计 (MLE) 一种直观的想法是：哪个参数一种直观的想法是：哪个参数(多个参多个参数时是哪组参数数时是哪组参数) 使得现在的出现的可能性使得现在的出现的可能性 (概率概率) 最大，哪个参数最大，哪个参数(或哪组参数或哪组参数)就作为就作为参数的估计参数的估计 这就是这就是 极大似然估计原理极大似然估计原理如果如果θ 可能变化空间可能变化空间,称为称为参数空间参数空间2828/22/22III. 下面举例说明如何求参数的下面举例说明如何求参数的MLE例例1: 在正确使用情况下，某电池的保修在正确使用情况下，某电池的保修期为期为400小时，假设小时，假设P是一批这种电池在是一批这种电池在保修期内失效的比例保修期内失效的比例1）求）求p的极大似然估计量；的极大似然估计量；（（2）随机抽取了）随机抽取了2000块电池作为样本，发现块电池作为样本，发现有有3块电池在保修期内失效，根据这些信息求块电池在保修期内失效，根据这些信息求参数参数p的极大似然估计值的极大似然估计值2929/22/22似然函数为似然函数为解解 从这批电池中任意取一块，定义从这批电池中任意取一块，定义X，，当电池在保修期内失效时当电池在保修期内失效时X=1，否则，否则X=0，则，则X~B(1, p)，，X1, X2, …, Xn是取自总体是取自总体 的一个的一个样本。

样本3030/22/22对数似然函数为：对数似然函数为：对对 p 求导，并令其等于零，得求导，并令其等于零，得上式等价于上式等价于3131/22/22解上述方程，得解上述方程，得换成换成换成换成3232/22/22 (4). 在最大值点的表达式中，代入样本值，在最大值点的表达式中，代入样本值， 就得参数就得参数 θ 的极大似然估计的极大似然估计II. 求极大似然估计求极大似然估计(MLE)的一般步骤的一般步骤(1). 由总体分布导出样本的联合概率函数由总体分布导出样本的联合概率函数(连连 (2) 续型时为联合概率密度续型时为联合概率密度, 离散型时为联离散型时为联合合 (3) 概率分布概率分布)；；(2). 把样本的联合概率函数中的自变量看成把样本的联合概率函数中的自变量看成 已知常数已知常数, 参数参数θθ 看成自变量看成自变量, 得到似得到似然然 函数函数 L(θθ )；；(3). 求似然函数求似然函数 L(θ ) 的最大值点的最大值点 (常常转化常常转化 为求为求ln L(θ )的最大值点的最大值点) ，即，即 θ 的的MLE;3333/22/22两点说明：两点说明：● 求似然函数求似然函数 L(θ ) 的最大值点，可应用微积的最大值点，可应用微积分中的技巧。

由于分中的技巧由于 ln(x) 是是 x 的增函数，所的增函数，所以以 ln L(θ ) 与与 L(θ ) 在在 θθ 的同一点处达到各的同一点处达到各自的最大值假定自的最大值假定 θθ 是一实数是一实数, ln L(θ )是是 θ 的一个可微函数通过求解似然方程的一个可微函数通过求解似然方程可以得到可以得到 θθ 的的MLE3434/22/22● 用上述方法求参数的极大似然估计有时行不用上述方法求参数的极大似然估计有时行不通，这时要用极大似然原理来求通，这时要用极大似然原理来求 若若θ 是向量，上述似然方程需用似然方程组是向量，上述似然方程需用似然方程组代替代替 3535/22/22例例2 2：：某机器生产的金属杆用于汽车刹车系统，某机器生产的金属杆用于汽车刹车系统，假设这种金属杆直径服从假设这种金属杆直径服从正正态分布态分布 N( ,  2) 参数参数   和和  2 2 未知，求此两参数极大似然估计量未知，求此两参数极大似然估计量解：解：似然函数为似然函数为对数似然函数为对数似然函数为3636/22/22 似然方程组为似然方程组为由第一个方程，得到由第一个方程，得到代入第二方程，得到代入第二方程，得到3737/22/22例例3：：设总体设总体 X 服从泊松分布服从泊松分布 P(  )，求参数，求参数  的极大似然估计。

的极大似然估计解：解：由由 X 的概率分布函数为的概率分布函数为得得  的似然函数的似然函数3838/22/22似然方程为似然方程为对数似然函数为对数似然函数为其解为其解为3939/22/22换成换成换成换成得得  的极大似然估计的极大似然估计4040/22/22例例 4：：设设 X ∼ ∼U(a, b)，求，求 a, b 的极大似然估计的极大似然估计 解：解：因因所以所以4141/22/224242/22/22 由上式看到：由上式看到：L L( (a, ,b) )作为作为a和和b的二元函数的二元函数是不连续的，是不连续的，所以所以我们不能用似然方程组来求我们不能用似然方程组来求极大似然估计，而必须从极大似然估计的定义极大似然估计，而必须从极大似然估计的定义出发，求出发，求L(a,b)的最大值的最大值4343/22/22 为使为使 L(a, b) 达到最大，达到最大，b- -a 应该尽量地小应该尽量地小但但 b不能小于不能小于 max{ {x1 1, ,x2 2, ,…, ,xn n} }否则，L(a,b) = 0 0类似地，类似地，a 不能大于不能大于min{ {x1 1, ,x2 2, ,…, ,xn n} }。

因此，因此，a 和和 b b 的极大似然估计为的极大似然估计为4444/22/22解：解：似然函数为似然函数为例例5：：设设 X1, X2, ,……, ,Xn 是抽自总体是抽自总体 X 的一个样的一个样本，本，X 有如下概率密度函数有如下概率密度函数其中其中θ >0为未知常数为未知常数求求θ 的极大似然估计的极大似然估计也可写成也可写成4545/22/22求导并令其导数等于零，得求导并令其导数等于零，得解上述方程，得解上述方程，得4646/22/22小结小结 本讲首先介绍参数矩估计的基本思想以本讲首先介绍参数矩估计的基本思想以及求矩估计的步骤，给出多个求参数矩估计及求矩估计的步骤，给出多个求参数矩估计的例子；然后介绍参数极大似然估计的基本的例子；然后介绍参数极大似然估计的基本原理，求极大似然估计的基本方法，给出多原理，求极大似然估计的基本方法，给出多个求参数极大似然矩估计的例子个求参数极大似然矩估计的例子。