好文档就是一把金锄头!
欢迎来到金锄头文库![会员中心]
电子文档交易市场
安卓APP | ios版本
电子文档交易市场
安卓APP | ios版本

第一部分4 GLS和MLE(三大检验).docx

20页
  • 卖家[上传人]:鑫**
  • 文档编号:256813312
  • 上传时间:2022-02-20
  • 文档格式:DOCX
  • 文档大小:39.47KB
  • / 20 举报 版权申诉 马上下载
  • 文本预览
  • 下载提示
  • 常见问题
    • 第一部分4 GLS和MLE(三大检验) 第四章 GLS和MLE 一、广义最小二乘法〔GLS〕 1、回来模型的矩阵表示总体回来方程可表示为:y?Xβ?ε也可以写成:E[y|X] =Xβ当E(y|X)取不同的形式时,也就构成了不同的模型,包括:线性、非线性和非参数等我们这里主要探讨的是线性模型(一元或多元):其中:?1y1???y2?1?,X????????1yN?(N?1)?x11x21?xN1????x1jx2j?xNj????x1??y????????0????x2k?1??1?,β?? ???????????xNk?1?k?1?(k?1)??(N?k)k?1T表示样本数量,k表示说明变量个数〔包含了常数项〕,当k?2时就是一?2?元线性回来模型而ε???1?N?(1?N)表示的是随机扰动项,包含了除了T说明变量以外的其他影响因素假设遗漏变量,那么这个变量也将被扰动项所包含 2、经典假设满意时的残差项的方差协方差矩阵在无异方差和无自相关的假定下,残差项的方差协方差矩阵是一个对角阵,并且主对角线的元素都一样即有:〔??2E(εε?|X)=???0????0?2????I2???此时OLS估计量是最优线性无偏估计BLUE〕1 问题的提出:假设扰动项违反球形假定,结果怎样?2y?X???,E[?]?0,E[???]??? 〔1〕其中Ω是一般的正定矩阵,而不是在古典假设的状况下的单位矩阵。

      〔1〕异方差时??12?02?E(εε|X)=???????00????0?20???Ω ??2??n??2?02存在异方差时的后果:OLS估计量是线性无偏估计,但不是最有效的 处理方法:第一条思路:找到最优线性无偏估计详细方法加权最小二乘法〔WLS〕,也就是模型变换法;其次条思路:存在异方差时OLS估计量是线性无偏,但是原OLS方法得到的方差计算公式有误对于系数估计仍采纳OLS估计,对于系数的方差估计进展修正得到稳健估计量详细参见本科课程〔2〕自相关时2 ??2E(εε?|X)=?????n1????1n??1??11?22??1?????????2?????n?2??n?1?n?1??n?2??1??存在自相关时的后果:OLS估计量是线性无偏估计,但不是最有效的 处理方法:第一条思路:找到最优线性无偏估计详细方法广义差分方法; 其次条思路:存在自相关时OLS估计量是线性无偏,但是原OLS方法得到的方差计算公式有误对于系数估计仍采纳OLS估计,对于系数的方差估计进展修正得到稳健估计量详细参见本科课程〔利用广义差分方法处理,详细参见本科课程〕〔3〕同时存在异方差和自相关时??12E(εε?|X)=?????n1????1n???11????????2?n??n1?2???2????Ω?nn???1n?存在异方差、自相关时的后果:OLS估计量是线性无偏估计,但不是最有效的。

      处理方法:第一条思路:找到最优线性无偏估计详细方法广义最小二乘〔GLS〕; 其次条思路:存在异方差、自相关时OLS估计量是线性无偏,但是原OLS方法得到的方差计算公式有误对于系数估计仍采纳OLS估计,对于系数的方差估计进展修正得到稳健估计量 3 3.GLSGLS的思想非常简洁,就是通过对总体方差协方差矩阵的分解,将回来的残差转变成满意古典假定的残差,然后运用OLS估计由于?是一个正定的对称矩阵,由矩阵代数的学问,我们知道存在一个满秩矩阵P,使得Ω=PP'在古典回来方程y=Xβ+u两边同乘P?1,得到:Py=PXβ+Pu-1-1-1或者写成:y*=X*β+u*〔其中y*=Py,X*=Pβ,u*=Pu〕 可以看出'-1'-1'-1-1-1E(u*u*)=E(Puu(P))-1'-1' =PE(uu)(P)-12-1' =P(σΩ)(P) ,2-1'-1' =σP(PP)(P)2 =σI明显变换后的模型满意古典假定,因此可以用OLS对该式进展估计得到如下结果:?=(X?X)-1(X?y)=(XΩ-1X)-1XΩ-1Y β****4、FGLS〔可行的GLS〕4 FGLS是GLS在实际问题中的应用。

      明显,假如方差协方差矩阵是?确定的,那么GLS就是最优的估计方法但是,在实际的问题中,?往往是未知的这就要求我们必需先对矩阵?进展?,然后再遵照上述GLS的方法对回来模型进展估计 估计,得到Ω5 二、最大似然估计〔MLE〕一个关于最大似然估计的实例〔打猎的例子〕 1、引子利用来自泊松分布的10个观测值,估计相关的参数 确定泊松分布的密度函数是:e?xi!??xif(xi,?)?,θ为参数,X为视察值Poisson 分布,X全部的可能取值为0,1,2??取各值的概率既和x有关,也和参数θ有关 思索问题:现得到10个观测值,5,0,1,1,0,3,2,3,4,1,估计其参数解答:似然函数NL(x,?)?f(x1,?,x10|?)?f(x1|?)?f(x2|?)?f(x10|?)??i?1f(xi)详细的:?i?1N10L(x,?)??i?1f(xi)??i?1e?xi!??xi?e?10?xi??6xi!?e?10??20227360该似然函数给出由具有未知参数θ的泊松分布生成数据时,视察到特定样 本的概率什么样的的θ使这个样本最为可能考虑最大化这个函数由于对数函数是单调递增的,而且便于处理,因此通常最大化lnL(θ),即最大化对数似然函数。

      lnL(x,?)??10??20ln??12.242dlnL(?)d???10?20??0??2又因为2dlnL(?)d?2??20?2 ?0,因此为极大值2、极大似然函数及其估计的根本原理 〔1〕MLE估计的原理 1似然函数的定义: ○从总体中经过N次随机抽取得到样本容量为N的样本观测值,在任一次随机抽取中,样本观测值都以必须的概率出现,各样本的抽取是独立的,因此简单得到样本的联合密度函数似然函数——样本观测值的联合概率函数〔联合密度函数〕2似然函数的表示: ○设总体的概率密度函数为f,其类型是确定的,但含有未知参数?,观测7 值x1,x2,?,xN的联合密度函数为:N样本的似然函数——L(x,?)??f(xi),包含有未知参数?i?1N对数似然函数——lnL(x,?)??lni?1f(xi) 3原理: ○?,?就极大似然估计的原理就是找寻参数估计量?使得似然函数到达最大,?称为极大似然估计量求解的方法:通过取对数以及一阶条件可以求得该参数估计值 最大化lnL(x,?)的必要条件是lnL(x,?)???0 一般来说似然函数是非线性的,必需采纳迭代计算的方法求参数的极大似然估计值。

      极大似然估计量 (MLE) 具有相同性和渐近有效性 〔2〕例2,经典线性回来模型的最大似然估计量 线性回来模型的MLE yt = ?0 + ?1 xt1 + ? 2 xt 2 + … + ? k-1 xt k -1 + ut , t = 1, 2, …, T, 8 进展极大似然估计假定ut ? N(0, ? 2 ), 那么yt 也听从正态分布 yt ? N(E( yt), ? 2 ),其中E( yt) = ?0 + ?1 xt1 + ? 2 xt 2 + … + ?k -1 xt k -1假设yt是相互独立的,那么对于样本 ( y1, y2, …, yT),似然函数是 L(y1, ,y2, …, yT |?, ? 2) = f( y1) f( y2) … f( yT), 其中 ? 表示未知参数 ?0, ?1, …, ? k -1的集合 (x?u)2?22正态分布:f ( xt ) =1(2??21/2?)?e每个yt的概率密度函数为:2 f ( yt ) =1(2??21/2)exp[?(yt?E(yt))2?2].取对数后:lnf ( yt ) = lnf ( yt )=-ln2??2112ln?2?12?2[yt?E(yt)]2]. 对于样本 ( y1, y2, …, yT),对数似然函数为T logL = ?log f ( yt ) t?1 = - T2log 2? -T2 log ?- 2 12?2T?t?1[yt- E( yt ) ]2.= -T2log 2? -T2log ?- 2 12?22?[yt- ?0 + ?1 xt1 + ? 2 xt 2 + … + ? k-1 xt k -1 ]t?1T9 分析:对logL极大化,等同于使平方和?t?1[yt- E( yt )]2 微小化,即选择?使TTT~~2?(yt-?0 -?1xt 1 -?2xt 2 - … -?k?1xt k -1) = ?utt?1t?1~~~~2~表示残差。

      这种估计方法恰好与OLS法一样,所以在这个例微小化上式中ut子中 ? 的MLE估计量?与OLS估计量??完全一样,即?=??lnL?0〕 ???i~~〔详细的,是对数似然值对于每个?求偏导数,并等0~与OLS法不同的是极大似然估计法在估计?的同时,还得到ut方差的估计量对〔lnL〕求 ? 2 的偏导数并令其为零T~?logL??2= -T2?2+12?42?[yt- E( yt ) ] = 0.t?1用?代替上式中E(yt) 中的? 得~ ~2 ?~2 = T ?utt?1-1T3、极大似然估计的性质假设似然函数f?x,θ?满意正那么条件,极大似然估计量有以下渐进性质:10 ??θ M1、相同性:plimθ??2lnL??1a???M2、渐进正态:θ?? ?Nθ,?I?θ??T???,I?θ??E?????θ?θ??是渐进有效的,且到达相同估计量的克拉美-劳下界: M3、渐进有效:????2lnL?θ?????????E Asy.Var?θ????T???θ?θ???????1????E?????lnL?θ????lLn?θ????????????T?θ?θ???????????1?是?的ML估计,c???是连续函数,那么γ?c???的MLM4、不变性:假设??。

      估计是c???这四特性质特殊是最终两特性质,估计量到达了最小方差,即ML估计量是有效估计量同时假设要估计参数的函数,无需重新估计模型,为估计参数函数供应了便利ML估计量大样本性质好,但在小样本的条件下,ML估计并不必须是最正确的11 三、 基于MLE的三大检验(回忆,基于OLS的检验:t检验,模型整体显著性F检验,F检验〔多个系数同时为零,线性约束检验〕下面介绍三种常用的检验方法,这三种检验所用统计量都是利用极大似然估计法计算的似然比〔LR〕检验:须要计算受约束,不受约束的模型 沃尔德〔W〕检验: 须要计算不受约束模型拉格朗日〔lagrange〕乘数〔LM〕检验: 须要计算受约束模型1、似然比〔LR〕检验 〔1〕思想:思想:假如约束条件成立那么相应约束模型的极大似然函数值LR与非约束模型的极大似然函数值LU。

      点击阅读更多内容
      关于金锄头网 - 版权申诉 - 免责声明 - 诚邀英才 - 联系我们
      手机版 | 川公网安备 51140202000112号 | 经营许可证(蜀ICP备13022795号)
      ©2008-2016 by Sichuan Goldhoe Inc. All Rights Reserved.