极大似然估计(DOC 12页).docx

第1章 极大似然估计极大似然估计是非线性模型中非常重要的一种估计方法最小二乘法是极大似然估计性模型中的特例1.1 似然函数假设随机变量xt的概率密度函数为 f (xt)，其参数用θ= (q1, q2, …, qk )表示，则对于一组固定的参数 θ来说，xt的每一个值都与一定的概率相联系即给定参数θ，随机变量xt的概率密度函数为f(xt)相反若参数 θ未知，当得到观测值xt后，把概率密度函数看作给定xt的参数 θ的函数，这即是似然函数L(θ| xt ) = f (xt| θ) 似然函数L(θ| xt ) 与概率密度函数f (xt | θ) 的表达形式相同所不同的是在f (xt| θ) 中参数 θ是已知的，xt是未知的；而在L(θ| xt) 中xt是已知的观测值，参数 θ是未知的对于n个独立的观测值x=(x1, x2, …, xn)，其联合概率密度函数为其对应的似然函数为：经常使用的是对数似然函数，即对L(θ| xt )取自然对数：LnL(θ| xt ) =log[f (xt| θ)] 例 1.1正态分布随机变量的似然函数设一组随机变量xi,（i = 1, 2, …, n）是相互独立的，且服从正态分布N(m,s2)。

存在N个独立的观测值x=(x1, x2, …, xn)xi的似然函数为 =其中，f表示标准正态分布的概率密度函数，xi的对数似然函数为：其中，(x1, x2, …, xn)的联合似然函数为 =例 1.2 泊松分布的对数似然函数假设每5分钟到达商店的顾客的数目服从Poisson分布，有N个样本观测值(x1, x2, …, xN)每个随机变量的概率密度函数，即似然函数为：其对数似然函数为由于每个观测值都是独立的，因此这N个观测值的对数似然函数为例 1.3指数分布随机变量的似然函数1.2 极大似然估计1.2.1 极大似然估计的原理极大似然估计是指使得似然函数极大化的参数估计方法，即估计那些使得样本(x1, x2, …, xn)）出现的概率最大的参数例 1.4正态分布的ML估计对于n个相互独立的随机变量x=(x1, x2, …, xn)，xi ~ N(m,s2)（i = 1, 2, …, n）根据前面推导的(x1, x2, …, xn)的联合似然函数：两个一阶条件分别为可以求出未知参数的估计量分别为，例 1.5 泊松分布的ML估计。

未知参数l要使得观测到这N个值得概率最大，即令上述对数似然函数对l的偏导数等于0”例 1.6 指数分布的ML估计例 1.7 线性回归模型的ML估计设回归模型为y= xβ+ u，ui~NIID(0, s 2 )由yi~N(xiβ,s 2 )，得yi的似然函数是yi的对数似然函数为若yi是相互独立的，则( y1, y2, …, yn)的对数似然函数为极大化似然函数，两个一阶条件为解上述方程可得；另外一种常见的方便推导方法是利用集中对数似然函数（concentrated log-likelihood）由对数似然函数的第二个一阶条件可得：将其带入对数似然函数便得到了集中对数似然函数根据一阶条件可得ML估计量实际上，最大化极大似然函数等价于最小化残差平方和因此，在误差项服从正态分布的假定下，β的极大似然估计量与LS估计量完全相同ML方法与LS方法对回归方差的估计量不同，ML估计量是有偏的但后面将会看到，当误差项服不服从正态分布时，β的ML估计量与LS估计量是不一样的，ML估计量比LS估计量渐进有效1.2.2 ML估计量的统计特征ML估计方法的盛行在于其估计量的优良的大样本（或渐进）特征在一定的正则条件下，ML估计量具有如下特征（正则条件及详细证明请参见Greene（2000））。

设DGP的真实参数值为θ0，ML估计量为具有如下特征1． 一致性：2． 渐进正态性：，其中，3． 渐进有效性：的方差达到Cramer-Rao下界Cramer-Rao下界：如果yi的概率密度函数满足正则条件，那么，所有一致渐进正态估计量的方差下限为4． 不变性：如果函数f，如果f连续且连续可微，那么f (θ0)的ML估计量为f()1.2.3 似然函数的导数矩对于随机变量yi，其概率密度函数为f(y, q)在一定的正则条件下，似然函数的导数具有如下特征1． ，都是随机变量的随机抽样这意味着，如果样本是独立抽样的，那么gi与gj不相关，Hi与Hj也不相关似然函数的一阶导数称为梯度向量（Gradientvector）：也称为得分向量（score vector）对于N个观测值、K个参数，则gi为k´1向量将gi构成的矩阵G = [g1’,g2’, ..,gn’]’（N´k）称为梯度向量的贡献矩阵梯度向量g的每个元素为矩阵G的各列的和似然函数的二阶导数称为海赛矩阵（Hessian Matrix）：对于N个观测值、K个参数，则H为k´k向量将H i（k´k）称为海塞矩阵的贡献矩阵海赛矩阵H的每个元素为所有矩阵H i的和。

比如，性回归模型中，b包含k个参数，加上标准差s，共k+1个参数矩阵G的前k列的第i行第j列元素为最后一列的元素为2．3．1.2.4 方差矩阵的估计方法（1） 由渐进公式，可以将带入上式作为的方差估计量，即信息矩阵的逆，性回归模型中，因此，ML估计量的协方差矩阵为将b和s的估计量带入可得到方差估计量显然，是不相关的这表明，对于参数b的推断与s的估计无关；同样地，对于参数s的推断与b的估计无关但实践中，非线性模型的二阶导数的形式不容易明确地解出因此，这种方法用的比较少2） 第二种方法是：，即直接将带入二阶导数，而不是求二阶导数的期望可以证明，这等价于在样本均值点求二阶导数的期望与第一种方法相类似，这种方法面临着二阶导数求解的难题性模型中，估计量的方差为：（3） 由导数矩的第三个特征，估计量的协方差矩阵等于一阶导数的协方差矩阵的逆由一阶导数，其方差估计量为：因此，ML估计量的方差估计量为：其中，（1×K），（N×K）这种估计量称为BHHH估计量或OPG估计量（outer product of gradients）这种方法的最大优点是计算方便上述三种方法是渐进等价的，但在小样本情况下，三种方法的估计结果可能会出现很大差异，得到不同的统计推断结论。

1.2.5 拟极大似然估计如果一个方程设定错误，但ML估计量仍然具有一致性，将这种情形下的ML估计量称之为拟极大似然估计量（QMLE）比如，如果线性模型中的误差项服从正态分布，则ML估计等价于OLS估计我们知道，OLS估计量的一致性与分布没有关系，因此ML估计也具有一致性即使误差项的真实分布不是正态分布，ML估计仍然具有一致性这时，我们将ML估计量称为QML估计量1.3 三种渐进等价的检验方法似然比检验（Likelihood Ratio，简写为LR）、沃尔德检验（Wald）和拉格朗日乘子检验（Lagrange Multiplier，简写为LM）是三种被广泛应用的检验对于原假设H0：，LR检验、Wald检验和LM检验采用了不同的思路如下图所示图 1.1 LR、LM、Wald检验示意图1． 似然比检验令LnLU = LnL()为无约束时的极大似然函数值，LnLR= LnL()为带约束的极大似然函数值令表无约束的似然函数估计量，令表示受约束的似然函数估计量如果原假设H0：成立，那么LnLU应该近似等于LnLR，即（LnLU – LnLR）应该比较小如果（LnLU – LnLR）比较高，就要拒绝原假设。

LR检验统计量为如果原假设成立，那么LR~c2(J)J表示未知参数缩减的个数，即约束条件的个数，也是中方程的个数我们来看似然比统计量的另一种简单的计算方法在正态分布的线性模型中，无约束模型的集中对数似然函数为同样地，受约束模型的集中对数似然函数为因此，似然比统计量又可以写为2． Wald检验因为极大似然估计量具有一致性，因此如果原假设成立，那么应该近似等于q如果显著不等于q，就要拒绝原假设Wald统计量为如果原假设成立，W~c2(J)，J表示未知参数缩减的个数3． 拉格朗日乘子检验如果成立，那么应该距离真实参数θ比较近而在似然函数在真实参数处的斜率为0，因此原假设成立的时候，似然函数在处的斜率也应该近似为0LM检验就是基于受约束的似然函数在的斜率进行的检验LM统计量为如果原假设成立，LM~c2(J)，J表示未知参数缩减的个数我们来看LM统计量的另一种简单计算方法在正态分布的线性模型中，根据一阶条件及方差估计量，，将受约束模型中的残差项带入上两式，再将结果代入LM统计量中，可得其中，表示受约束模型的残差项对所有的解释变量进行回归得到的拟合优度LM统计量也可以通过公式LM=nRi2进行计算。

其中n为样本量，Ri2为用1对似然函数在处的导数回归得到的拟合优度这三种检验是渐进等价的，但在小样本情况下可能得到不同的推断而三种检验的小样本特征并没有特别的规律因此，人们一般根据计算上的方便性来选择采用哪一种形式的检验方法如上所述，LR检验需要同时计算带约束方程的似然函数和不带约束的方程的似然函数Wald检验只需要计算无约束的似然函数，而LM检验只需要计算带约束的似然函数例 1.8消费模型的ML估计（数据文件：usmacro.dta）设消费模型为 yt = β0 + β1xt + ut ，假定ut~N(0, s2)，那么yt =N(β0 + β1xt, s2)1） 利用ML方法估计上述模型，并根据得分向量计算协方差矩阵上述模型的ML估计Stata程序如下（程序文件：mylogl.ado）mylogl.ado--program define myloglversion 9.2args lnf b1x sigma tempvar res quietly gen double `res'=$ML_y1-`b1x' quietly replace `lnf' = -ln(`sigma')-0.5*`res'^2/`sigma'^2end---------------------------------mylogl.ado--. ml model lf mylogl (b1: realcons=realdpi) (sigma: ). ml maximize 得分向量可通过如下命令提取：. ml score sc_* 根据BHHH公式，协方差矩阵可利用得分向量直接计算出来。

或者也可以通过technique(bhhh)直接计算出来 ml maximize, technique(bhhh)（2） 利用似然比、LM和Wald检验方法分别检验如下约束是否成立：H1：β1 = 0； H2：β1 = 0.7；似然比检验：. regress realcons realdpi. est store A. regress realcons . regress B. lrtest A B, stats dir LM检验：. reg。