预备知识1线性模型.pdf

二元回归模型预备知识 1：线性模型矩阵形式估计量估计量方差其中最小二乘估计（ordinary least squares,OLS）总平方和回归平方和为预测值残差平方和判定系数（coefficient of determination）R squared调整R squaredfi如果这里为已知协方差矩阵估计量方差广义最小二乘（generalized least-squares,GLS）可加效应模型预备知识 2：固定效应模型ijji2ijkijkjiijk0,0,0Nd.i.im,1k,b,1j,a,1iy方差分析（analysis of variance,ANOVA）假设偏差平方和的分解0:H0:Hb2102a2101ij2j.iij2ijj.2ij.i2ijijT.yyyy.yy.yy.yySS2i2iij2.iiA.j.jj.ii.ieBA1abEESS.yyySSSSSS检验统计量2e2j2ji2iij2.ijjiT2j2jB1b1aESS1ababEESS1baESS同理eB2eA12ee2j2jBB2i2iAAMSMSFMSMSF1b1aSSEEMS1ba1bSSEEMS1ab1aSSEEMS交互效应模型jijiijijji2ijkijkijjiijka,1i,0b,1j,00,0,0Nd.i.im,1k,b,1j,a,1iy方差分析假设偏差平方和的分解b,1ja,1i0:H0:H0:Hij03b2102a2101对一切ABeBA2ijk.j.i.ij2ijk.ijijk2ijk.j.2ijk.iijk.ijkTSSSSSSSSyyyyyyyyyyyySS2j2jB2i2iijk2.iiA.ijijji.ij.j.j.j.ii.i1bamESS1abmEESSyyyy检验统计量2ij2ijAB2ij2ijj2ji2iijk2.ijkijjiT2ijk2.ijijke1b1amESS1abmmambmEESS1mabEESS2ee2j2ijABAB2j2jBB2i2iAA1mabSSEEMS1b1am1b1aSSEEMS1bam1bSSEEMS1abm1aSSEEMSeABABeBBeAAMSMSFMSMSFMSMSF随机效应模型相互独立、诸、诸、诸诸ijjiijk2ij2j2i2ijkijkijjiijk,0Nd.i.i,0Nd.i.i,0Nd.i.i,0Nd.i.im,1k,b,1j,a,1iy方差分析假设0:H0:H0:H203202201ABeBA2ijk.j.i.ij2ijk.ijijkijk2.j.2ijk.i2ijk.ijkTSSSSSSSSyyyyyyyyyyyySS偏差平方和的分解ijk2.i.iiA.i.ii.ibbi.iEESSyyjijjj检验统计量2222ijk2.ijk.ijjiT2ijk2.ijijke222B2221abm1abm1bam1abmEESS1mabEESS1b1bm1bamESS1a1am1abm同理2ee22ABAB222BB222AA22AB1mabSSEEMSm1b1aSSEEMSamm1bSSEEMSbmm1aSSEEMS1b1am1b1aESSeAB3ABB2ABA1MSMSFMSMSFMSMSF预备知识 3：三大检验似然比检验 LRWald检验拉格朗日乘子检验 LM（1）模型是非线性的（2）约束是非线性的（3）扰动项分布是非正态的，在这些情况下，F检验不再适用，通常需要采用LR、Wald、LM 其中之一来检验约束条件是否成立。

三大检验的引入这三个检验方法都是渐进等价的，他们所用统计量的小样本分布是未知的，但大样本下都渐进服从自由度为约束个数的卡方分布三大检验方法是三种基于极大似然法的大样本检验方法根据模型的特点采用不同的检验方法模型视为给定参数的数据生成过程的集合三大检验方法共同点极大似然估计（ML）（一）极大似然原理假设对于给定样本，其联合概率分布存在将该联合概率密度函数视为未知参数的函数，则称为似然函数（Likelihood Function）,即观测到所给样本的可能性.极大似然原理就是寻找未知参数的估计，使得似然函数达到最大，或者说寻找使得样本出现的概率最大的Y X,;f Y X,;f Y X?,Y X?求极大似然函数估计值的一般步骤：（1）写出似然函数；（2）对似然函数取对数，并整理；（3）求导数；（4）解似然方程极大似然估计，是一种概率论在统计学的应用，它是参数估计的方法之一说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值极大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。

极大似然估计量（MLE）的性质（1）一致性：是的一致估计量，即（2）渐进有效性：是渐进有效的且达到所有一致估计量的Cramer-Rao下界，即是所有一致渐进正态估计量中方差最小的（3）渐进正态性?lim)1,nP为任意给定的正数ML检验思想：如果参数约束是有效的，那么加上这样的约束不应该引起似然函数最大值的大幅度降低也就是说似然比检验的实质是在比较有约束条件下的似然函数最大值与无约束条件下似然函数最大值似然比定义为有约束条件下的似然函数最大值与无约束条件下似然函数最大值之比以似然比为基础可以构造一个服从卡方分布统计量似然比检验（LR）似然比检验（LR）1、似然比命题：如果约束是无效的，有约束的最大似然函数值当然不会超过无约束的最大似然函数值，但如果约束条件“有效”，有约束的最大值应当“接近”无约束的最大值，这正是似然比检验的基本思路似然比：无约束模型似然函数值：有约束模型似然函数值：22(,)?(,)LL2?(,)L2(,)L0:HgC显然如果原假设是真，则趋近于 1；如果太小，则约束无效，拒绝原假设可以证明，对大样本来说，检验统计量为，拒绝域，似然比检验另一种表达，01222?2ln2 ln(,)ln(,)()LRLLq21()LRq2*2ln(lnln)()e eeeLRneeeeq有约束模型残差平方和；无约束模型残差平方和；检验思想：如果约束是有效的，那么在没有约束情况下估计出来的估计量应该渐进地满足约束条件，因为MLE 是一致的。

以无约束估计量为基础可以构造一个Wald统计量，这个统计量也服从卡方分布Wald检验Wald检验如果约束条件为真，则不应该显著异于零，其中是无约束极大似然估计值当显著异于零时，约束条件无效，拒绝原假设检验统计量Wald检验实际基于 g（）和 C 之间的距离Wald只需要估计无约束模型，但需要计算渐进协方差矩阵0:HgC0MLEgCMLEMLEgC1a2?()()()()WgCVar gCgCq性约束条件下，Wald检验拒绝域，Wald统计量另一种表达形式，a1212?()()()()WRrRX XRRrq2()Wq2*()()e ee en e ee eWqe e有约束模型残差平方和；无约束模型残差平方和；0:HRr检验思想：在约束条件下，可以用拉格朗日方法构造目标函数如果约束有效，则最大化拉格朗日函数所得估计量应位于最大化无约束所得参数估计值附近这里也是构造一个 LM 统计量该统计量服从卡方分布拉格朗日乘子检验（LM）拉格朗日乘子检验（LM）拉格朗日乘子检验（LM），又称为 Score检验该检验基于约束模型，无需估计无约束模型假设约束条件为，在约束条件下最大化对数似然函数，另表示拉格朗日乘子向量，此时，拉格朗日函数为约束条件下最大化问题就是求解下式根，0:HgC()()()LnLLnLgC()()0()()0gLnLLnLgLnLgCg()其中，是矩阵 g=的转置如果约束成立，对数似然函数值不会有显著变化。

这就意味着在一阶条件下，第二项应该很小，特别是应该很小因此，约束条件是否成立检验转化成检验，这就是拉格朗日乘子检验的思想但是直接检验比较困难，有一个等价而简单的方法如果约束条件成立，在约束估计值处计算对数似然函数的导数应该近似为零，如果该值显著异于零，则约束条件不成立，拒绝原假设对数似然函数的导数就是得分向量，因此，LM 检验就是检验约束条件下参数估计值的得分向量值是否显著异于零，因而，LM 检验又称为得分检验0=0H：0=0H：在最大似然估计过程中，通过解似然方程，可以求出无约束估计量；如果计算有约束估计量在此处得分，则一般不为零，但是如果约束有效，则趋近于零在原假设成立条件下，?()0S?()S()Sa12()()()()LMSISq对于线性约束将有关量代入上式得，拒绝域，122*2*()LM=()e eReXne X X XX enRqee有约束模型残差平方和；是对 回归的拟合优度；22()LMnRqLM 统计量另一种表达形式，LR、Wald、LM 关系(一般情况下成立)：2*()()e eeen eeeeWqee有约束模型残差平方和；无约束模型残差平方和；WaldLRLM对于似然比检验，既需要估计有约束的模型，也需要估计无约束的模型；对于Wald检验，只需要估计无约束模型；对于LM 检验，只需要估计有约束的模型。

一般情况下，由于估计有约束模型相对更复杂，所有Wald检验最为常用对于小样本而言，似然比检验的渐进性最好，LM 检验也较好，Wald检验有时会拒绝原假设，其小样本性质不尽如人意多层线性 模型hierarchical linear model（HLM）分层线性模型（hierarchical linear model HLM）又名多层线性模型（Multilevel Linear Model MLM）、层次线性模型（Hierarch Linear Mode1）、多层分析（Multilevel Analysis/Model）HLM又被通俗的称为“回归的回归”一般线性回归和多重线性回归都是发生在单一层面，HLM相对于更适用于嵌套数据（nest data）概念由于个体行为不仅受个体自身特征的影响，也受到其所处环境（群体/层次）的影响相对于不同层次的数据，传统的线性模型在进行变异分解时，对群组效应分离不出，而增大模型的误差项而且不同群体的变异来源也可能分布不同，可能满足不了传统回归的方差齐性假设在模型应用方面，不同群体（层次）的数据，也不能应用同一模型鉴于传统方法的局限性，分层技术则解决了这些生态谬误（Ecological Fallacy）。

假设个体层面：这个与普通的回归分析相同，只考虑自变量 X对因变量 Y的影响群组层面：群组因素 W分别对个体层面中回归系数和截距的影响两个层面的假设：个体层面：群组层面：涉及到多个群组层次的时候原理与之类似，可以把较低级层次的群组，如不同的乡镇层面与不同的县市层面，可以这样理解，乡镇即是一个个体，群组即是不同的 县市更多层次的可以这样理解，一直是下一层对上一层回归系数和截距的回归与普通的“回归的回归”不同的是，整个计算过程通过迭代过程完成数学模型：合并模型。