计量经济学3.1多元回归模型ppt课件.ppt

第三章第三章 经典一方程计量经济学模型：经典一方程计量经济学模型：多元线性回归模型多元线性回归模型Multiple Linear Regression ModelMultiple Linear Regression Model阐明阐明•思索到一些学校将一元回归模型作为自学内容，思索到一些学校将一元回归模型作为自学内容，直接从多元回归模型开场讲授，所以本章课件直接从多元回归模型开场讲授，所以本章课件有一部分内容与第有一部分内容与第2 2章反复〔主要出如今根章反复〔主要出如今根本假设和估计方法部分〕本假设和估计方法部分〕•假设从一元回归模型开场讲授，可以将本章课假设从一元回归模型开场讲授，可以将本章课件的反复内容略去件的反复内容略去本章内容本章内容 •多元多元线性回性回归模型概述模型概述 •多元多元线性回性回归模型的参数估模型的参数估计 •多元多元线性回性回归模型的模型的统计检验•多元多元线性回性回归模型的模型的预测•可化可化为线性的非性的非线性模型性模型•受受约束回束回归§3.1 §3.1 多元多元线线性回性回归归模型概述模型概述(Regression Analysis)(Regression Analysis)一、多元一、多元线性回性回归模型模型二、多元二、多元线性回性回归模型的根本假模型的根本假设一、多元线性回归模型一、多元线性回归模型总体回归模型总体回归模型i=1,2…,n• 总总体回体回归归模型：模型：总总体回体回归归函数的随机表达方式函数的随机表达方式k为解释变量的数目。

习惯上，把常数项看成为虚变量的系数，该虚变量的样本观测值一直取1于是，模型中解释变量的数目为〔k+1〕 j称为回归参数〔regression coefficient〕•总体回体回归函数：描画在函数：描画在给定解定解释变量量Xi条件下条件下被解被解释变量量Yi的条件均的条件均值j也被称为偏回归系数(partial regression coefficients)，表示在其他解释变量坚持不变的情况下，Xj每变化1个单位时，Y的均值E(Y)的变化或者说j给出了Xj的单位变化对Y均值的“直接〞或“净〞〔不含其他变量〕影响总体回归函数总体回归函数总体回归模型的矩阵表示总体回归模型的矩阵表示样本回归函数与样本回归模型样本回归函数与样本回归模型•从一次抽从一次抽样中中获得的得的总体回体回归函数的近似，称函数的近似，称为样本回本回归函数〔函数〔sample regression functionsample regression function〕•样本回本回归函数的随机方式，称函数的随机方式，称为样本回本回归模型〔模型〔sample regression modelsample regression model〕。

〕 样本回归函数的矩阵表示样本回归函数的矩阵表示二、多元线性回归模型的根本假设二、多元线性回归模型的根本假设1 1、关于模型关系的假设、关于模型关系的假设•模型模型设定正确假定正确假设The regression model is correctly specified.•线性回性回归假假设The regression model is linear in the parameters 留意：留意：“linear in the parameters〞的含〞的含义义是什是什么？么？2 2、关于解释变量的假设、关于解释变量的假设•确定性假确定性假设X values are fixed in repeated sampling. More technically, X is assumed to be nonstochastic.• 留意：留意：“in repeated sampling〞的含〞的含义是什是什么？么？•与随机与随机项不相关假不相关假设The covariances between Xi and μi are zero. 由确定性假由确定性假设可以推断可以推断。

•观测值变化假化假设X values in a given sample must not all be the same.•无完全共无完全共线性假性假设There is no perfect multicollinearity among the explanatory variables. • 适用于多元适用于多元线性回性回归模型•样本方差假本方差假设随着样本容量的无限添加，解本容量的无限添加，解释变量量X的的样本方差本方差趋于一有限常数于一有限常数时间序列数据作时间序列数据作样本时间适用样本时间适用3 3、关于随机项的假设、关于随机项的假设•0均均值值假假设设The conditional mean value of μi is zero. • 同方差假同方差假设设The conditional variances of μi are identical.(Homoscedasticity)由模型由模型设定正确假定正确假设推断能否能否满足需求足需求检验•序列不相关假序列不相关假设The correlation between any two μi and μj is zero. 能否能否满足需求足需求检验。

4 4、随机项的正态性假设、随机项的正态性假设•在采用在采用OLS进展参数估展参数估计时，不需求正，不需求正态性假性假设在利用参数估在利用参数估计量量进展展统计推断推断时，需求，需求假假设随机随机项的概率分布的概率分布•普通假普通假设随机随机项服从正服从正态分布可以利用中心分布可以利用中心极限定理〔极限定理〔central limit theorem, CLT〕〕进展展证明•正正态性假性假设The μ’s follow the normal distribution. 5 5、、CLRM CLRM 和和 CNLRM CNLRM•以上假以上假设〔正〔正态性假性假设除外〕也称除外〕也称为线性回性回归模型的模型的经典假典假设或高斯〔或高斯〔GaussGauss〕假〕假设，，满足足该假假设的的线性回性回归模型，也称模型，也称为经典典线性回性回归模型〔模型〔Classical Linear Regression Model, Classical Linear Regression Model, CLRMCLRM〕•同同时满足正足正态性假性假设的的线性回性回归模型，称模型，称为经典正典正态线性回性回归模型〔模型〔Classical Normal Classical Normal Linear Regression Model, CNLRMLinear Regression Model, CNLRM〕。

〕§3.2 §3.2 多元多元线线性回性回归归模型的估模型的估计计 一、普通最小二乘估计一、普通最小二乘估计 二、最大或然估计二、最大或然估计 三、矩估计三、矩估计 四、参数估计量的性质四、参数估计量的性质 五、样本容量问题五、样本容量问题六、估计实例六、估计实例 说说 明明估估计方法：方法：3大大类方法：方法：OLS、、ML或者或者MM在在经典模型中多运用典模型中多运用OLS在非在非经典模型中多运用典模型中多运用ML或者或者MM一、普通最小二乘估计一、普通最小二乘估计(OLS)(OLS)1 1、普通最小二乘估计、普通最小二乘估计•最小二乘原理：根据被解最小二乘原理：根据被解释变量的一切量的一切观测值与估与估计值之差的平方和最小的原那么求得参数之差的平方和最小的原那么求得参数估估计量知知假定假定• 步骤：步骤：•正规方程组的矩阵方式正规方程组的矩阵方式条件？条件？• OLS OLS估计的矩阵表示估计的矩阵表示 2 2、正规方程组的另一种表达、正规方程组的另一种表达该正规方程该正规方程组成立的条组成立的条件是什么？件是什么？3 3、随机误差项、随机误差项的方差的方差的无偏估计的无偏估计 M为等幂矩阵为等幂矩阵二、最大似然估计二、最大似然估计1 1、最大似然法、最大似然法•最大似然法最大似然法(Maximum Likelihood,ML)(Maximum Likelihood,ML)，也称，也称最大或然法，是不同于最小二乘法的另一种参最大或然法，是不同于最小二乘法的另一种参数估数估计方法，是从最大或然原理出方法，是从最大或然原理出发开展起来开展起来的其它估的其它估计方法的根底。

方法的根底•根本原理：当从模型根本原理：当从模型总体随机抽取体随机抽取n n组样本本观测值后，最合理的参数估后，最合理的参数估计量量应该使得从模型使得从模型中抽取中抽取该n n组样本本观测值的概率最大的概率最大•MLML必需知随机必需知随机项的分布2 2、估计步骤、估计步骤: :以一元模型为例以一元模型为例Yi的分布Yi的概率函数 Y的一切样本观测值的结合概率—似然函数 对数似然函数 对数似然函数极大化的一阶条件构造参数的ML估计量分布参数的ML估计量3 3、似然函数、似然函数 4 4、、MLML估计量估计量•由由对数似然函数求极大，得到参数估数似然函数求极大，得到参数估计量量结果与参数的果与参数的OLSOLS估估计一一样•分布参数估分布参数估计结果与果与OLS不同不同•留意：留意：•ML估估计必需知必需知Y的分布•只需在正只需在正态分布分布时ML和和OLS的构造参数估的构造参数估计结果一果一样•假假设Y不服从正不服从正态分布，不能采用分布，不能采用OLS例如：选择性性样本模型、本模型、计数数据模型等数数据模型等三、矩估计三、矩估计Moment Method, MMMoment Method, MM1、参数的矩估计、参数的矩估计•参数的矩估参数的矩估计就是用就是用样本矩去估本矩去估计总体矩。

体矩 •用用样本的一本的一阶原点矩作原点矩作为期望的估期望的估计量•用用样本的二本的二阶中心矩作中心矩作为方差的估方差的估计量•从从样本本观测值计算算样本一本一阶〔原点〕矩和二〔原点〕矩和二阶〔〔原点〕矩，然后去估原点〕矩，然后去估计总体一体一阶矩和矩和总体二体二阶矩，矩，再再进一步一步计算算总体参数〔期望和方差〕的估体参数〔期望和方差〕的估计量 样本的一本的一阶矩和二矩和二阶矩矩 总体一体一阶矩和矩和总体体二二阶矩的估矩的估计量量 总体参数体参数〔期望和〔期望和方差〕的方差〕的估估计量量 2 2、多元线性计量经济学模型的矩估计、多元线性计量经济学模型的矩估计 •假假设模型的模型的设定是正确，那么存在一些定是正确，那么存在一些为0的条件矩的条件矩矩估矩估计的根本思想是利用矩条件估的根本思想是利用矩条件估计模型参数模型参数一一组矩条件，等同于矩条件，等同于OLS估估计的正的正规方程方程组四、参数估计量的性质四、参数估计量的性质阐明阐明•在在满足根本假足根本假设的情况下，多元的情况下，多元线性模型构造性模型构造参数参数的普通最小二乘估的普通最小二乘估计、最大或然估、最大或然估计及及矩估矩估计具有具有线性性、无偏性、有效性。

性性、无偏性、有效性•同同时，随着，随着样本容量添加，参数估本容量添加，参数估计量具有量具有渐近无偏性、近无偏性、渐近有效性、一致性近有效性、一致性•利用矩利用矩阵表达可以很方便地表达可以很方便地证明明, ,留意留意证明明过程程中利用的根本假中利用的根本假设1、无偏性、无偏性这里利用了假里利用了假设: E(X’: E(X’)=0)=02、有效性〔最小方差性〕、有效性〔最小方差性〕五、样本容量问题五、样本容量问题1 1、最小样本容量、最小样本容量• 所所谓谓““最小最小样样本容量〞，即从最小二乘本容量〞，即从最小二乘原理和最大或然原理出原理和最大或然原理出发发，欲得到参数估，欲得到参数估计计量，不量，不论论其其质质量如何，所要求的量如何，所要求的样样本容本容量的下限量的下限• 样样本最小容量必需不少于模型中解本最小容量必需不少于模型中解释变释变量的量的数目数目〔 〔包括常数包括常数项项〕 〕, ,即即• n n  k+1 k+1为什么？什么？2 2、满足根本要求的样本容量、满足根本要求的样本容量 • 从从统计检验统计检验的角度：的角度：• n n30 30 时时，，Z Z检验检验才干运用；才干运用；• n-k n-k8 8时时, t, t分布分布较为稳较为稳定。

定 • 普通阅历以为:• 当n30或者至少n3(k+1)时，才干说满足模型估计的根本要求 • 模型的良好性模型的良好性质质只需在大只需在大样样本下才干得本下才干得到到实际实际上的上的证证明六、例题六、例题地域城镇居民消费模型地域城镇居民消费模型•被解被解释变量：地域城量：地域城镇居民人均消居民人均消费Y•解解释变量：量：•地域城地域城镇居民人均可支配收入居民人均可支配收入X1•前一年地域城前一年地域城镇居民人均消居民人均消费X2•样本：本：2019年，年，31个地域个地域数据数据变量间关系变量间关系变量间关系变量间关系OLSOLS估计估计OLSOLS估计结果估计结果MLML估计估计MLML估计结果估计结果MMMM估计估计MMMM估计结果估计结果§3.3 §3.3 多元多元线线性回性回归归模型的模型的统计检验统计检验 Statistical Test of Multiple Statistical Test of Multiple Linear Regression Model Linear Regression Model 一、拟合优度检验一、拟合优度检验 二、方程的显著性检验二、方程的显著性检验(F(F检验检验) ) 三、变量的显著性检验〔三、变量的显著性检验〔t t检验〕检验〕 四、参数的置信区间四、参数的置信区间 一、拟合优度检验一、拟合优度检验 Goodness of Fit Goodness of Fit1 1、概念、概念•拟拟合合合合优优度度度度检验检验：：：：对样对样本回本回本回本回归归直直直直线线与与与与样样本本本本观测值观测值之之之之间拟间拟合程度的合程度的合程度的合程度的检验检验。

•问题问题：采用普通最小二乘估：采用普通最小二乘估：采用普通最小二乘估：采用普通最小二乘估计计方法，曾方法，曾方法，曾方法，曾经经保保保保证证了模型最好地了模型最好地了模型最好地了模型最好地拟拟合了合了合了合了样样本本本本观测值观测值，，，，为为什么什么什么什么还还要要要要检验拟检验拟合程度？合程度？合程度？合程度？•如何如何如何如何检验检验：构造：构造：构造：构造统计统计量量量量•统计统计量只能是相量只能是相量只能是相量只能是相对对量量量量2 2、可决系数与调整的可决系数、可决系数与调整的可决系数• 总总离差平方和的分解离差平方和的分解证明：证明：该项等于该项等于0• 可决系数〔 Coefficient of Determination 〕该统计量越接近于1，模型的拟合优度越高 • 从R2的表达式中发现，假设在模型中添加解释变量， R2往往增大 这就给人一个错觉：要使得模型拟合得好，只需添加解释变量即可 但是，由添加解释变量引起的R2的增大与拟合好坏无关，所以R2需调整• 调整的可决系数〔adjusted coefficient of determination〕 其中：n-k-1为残差平方和的自在度，n-1为总体平方和的自在度。

调整的可决系数多大才是适宜的？整的可决系数多大才是适宜的？ 3、赤池信息准那么和施瓦茨准那么、赤池信息准那么和施瓦茨准那么 为了比较所含解释变量个数不同的多元回归模型的拟合优度，常用的规范还有: 赤池信息准那么〔Akaike information criterion, AIC〕施瓦茨准那么〔施瓦茨准那么〔Schwarz criterionSchwarz criterion，，SCSC〕〕 这两准那么均要求仅当所添加的解释变量可以减少AIC值或SC值时才在原模型中添加该解释变量 地域城镇居民消费模型〔地域城镇居民消费模型〔k=2〕〕地域城镇居民消费模型〔地域城镇居民消费模型〔k=1〕〕与与k=2比较，变化不大比较，变化不大二、方程的显著性检验二、方程的显著性检验(F(F检验检验) )Testing the Overall Significance Testing the Overall Significance of a Multiple Regression (the F of a Multiple Regression (the F test)test)1 1、假设检验〔、假设检验〔Hypothesis TestingHypothesis Testing〕〕•所所谓假假设检验，就是事先，就是事先对总体参数或体参数或总体分体分布方式作出一个假布方式作出一个假设，然后利用，然后利用样本信息来判本信息来判别原假原假设能否合理，即判能否合理，即判别样本信息与原假本信息与原假设能否有能否有显著差著差别，从而决，从而决议能否接受或否能否接受或否认原原假假设。

•假假设检验采用的采用的逻辑推理方法是反推理方法是反证法先假定原假定原假设正确，然后根据正确，然后根据样本信息，察看由此本信息，察看由此假假设而而导致的致的结果能否合理，从而判果能否合理，从而判别能否接能否接受原假受原假设•判判别结果合理与否，是基于果合理与否，是基于““小概率事件不易小概率事件不易发生〞生〞这一原理的一原理的2、方程显著性的、方程显著性的F检验检验• 方程的显著性检验，旨在对模型中被解释变量与解释变量之间的线性关系在总体上能否显著成立作出推断• 在多元模型中，即检验模型中的参数j能否显著不为0• F F检验检验的思想来自于的思想来自于总总离差平方和的分解式离差平方和的分解式• TSS=ESS+RSS TSS=ESS+RSS 假设这个比值较大，那么X的结合体对Y的解释程度高，可以为总体存性关系，反之总体上能够不存性关系 因此,可经过该比值的大小对总体线性关系进展推断• 在原假在原假设设H0H0成立的条件下，成立的条件下，统计统计量量 给定显著性程度，可得到临界值F(k,n-k-1)，由样本求出统计量F的数值，经过 F F(k,n-k-1) 或 FF(k,n-k-1)来回绝或接受原假设H0，以断定原方程总体上的线性关系能否显著成立。

地域城镇居民消费模型地域城镇居民消费模型回绝0假设，犯错误的概率为0 3、关于拟合优度检验与方程显著性检验关系的讨论  对对于普通的于普通的实实践践问题问题，在，在5%5%的的显显著性程度下，著性程度下，F F统计统计量的量的临临界界值值所所对应对应的的R2R2的程度是的程度是较较低的所以，不宜所以，不宜过过分注重分注重R2R2值值，，应应注重模型的注重模型的经济经济意意义义；在；在进进展展总总体体显显著性著性检验时检验时，，显显著性程度著性程度应该应该控制在控制在5%5%以内三、变量的显著性检验〔三、变量的显著性检验〔t t检验〕检验〕 Testing the Significance of Testing the Significance of Variables (the t test)Variables (the t test)•方程的方程的总体体线性关系性关系显著不等于每个解著不等于每个解释变量量对被解被解释变量的影响都是量的影响都是显著的•必需必需对每个解每个解释变量量进展展显著性著性检验，以决，以决议能否作能否作为解解释变量被保管在模型中量被保管在模型中。

•这一一检验是由是由对变量的量的 t 检验完成的1、、t统计量统计量 以cii表示矩阵(X’X)-1 主对角线上的第i个元素2 2、、t t检验检验 设计原假设与备择假设： H1：i0 给定显著性程度，可得到临界值t/2(n-k-1)，由样本求出统计量t的数值，经过 |t| t/2(n-k-1) 或 |t|t/2(n-k-1)判别回绝或不回绝原假设H0，从而断定对应的解释变量能否应包括在模型中 H0：i=0 〔i=1,2…k〕 地域城镇居民消费模型地域城镇居民消费模型3、关于常数项的显著性检验、关于常数项的显著性检验•T T检验检验同同样样可以可以进进展•普通不以普通不以t t检验检验决决议议常数常数项项能否保管在模型中，能否保管在模型中，而是从而是从经济经济意意义义方面分析回方面分析回归线归线能否能否应该经过应该经过原点四、参数的置信区间四、参数的置信区间 Confidence Interval of Parameter Confidence Interval of Parameter1 1、区间估计、区间估计•回回归分析希望分析希望经过样本得到的参数估本得到的参数估计量可以量可以替代替代总体参数。

体参数•假假设检验可以可以经过一次抽一次抽样的的结果果检验总体参体参数能数能够的假的假设值的范的范围〔例如能否〔例如能否为零〕，但零〕，但它并没有指出在一次抽它并没有指出在一次抽样中中样本参数本参数值究竟离究竟离总体参数的真体参数的真值有多有多““近〞•要判要判别样本参数的估本参数的估计值在多大程度上在多大程度上““近似近似〞地替代〞地替代总体参数的真体参数的真值，需求，需求经过构造一个构造一个以以样本参数的估本参数的估计值为中心的中心的““区区间〞，来〞，来调查它以多大的能它以多大的能够性〔概率〕包含着真性〔概率〕包含着真实的参的参数数值这种方法就是参数种方法就是参数检验的置信区的置信区间估估计 假假设设存在存在这样这样一个区一个区间间，称之，称之为为置信区置信区间间；； 1-1-称称为为置信系数置信系数〔 〔置信度置信度〕〔 〕〔confidence confidence coefficientcoefficient〕 〕，， 称称为显为显著性程度；置信区著性程度；置信区间间的的端点称端点称为为置信限置信限〔 〔confidence limitconfidence limit〕 〕。

2、参数的置信区间、参数的置信区间在在(1-(1-) )的的置信程度下置信程度下3 3、如何才干减少置信区间？、如何才干减少置信区间？ • 增大增大样样本容量本容量n n，由于在同，由于在同样样的的样样本容量下，本容量下，n n越越大，大，t t分布表中的分布表中的临临界界值值越小，同越小，同时时，增大，增大样样本容本容量，量，还还可使可使样样本参数估本参数估计计量的量的规规范差减小范差减小• 提高模型的提高模型的拟拟合合优优度，由于度，由于样样本参数估本参数估计计量的量的规规范差与残差平方和呈正比，模型范差与残差平方和呈正比，模型优优度越高，残差度越高，残差平方和平方和应应越小• 提高提高样样本本观测值观测值的分散度的分散度, ,普通情况下，普通情况下，样样本本观观测值测值越分散，越分散，(X’X)-1(X’X)-1的分母的的分母的|X’X||X’X|的的值值越大，越大，致使区致使区间间减少§3.4 §3.4 多元多元线线性回性回归归模型的模型的预测预测 一、一、E(Y0)E(Y0)的置信区间的置信区间 二、二、Y0Y0的置信区间的置信区间一、一、E(Y0)E(Y0)的置信区间的置信区间于是，得到(1-)的置信程度下E(Y0)的置信区间：其中，t/2为(1-)的置信程度下的临界值。

二、二、Y0Y0的置信区间的置信区间如何根据置如何根据置信区间正确信区间正确地陈说预测地陈说预测结果？结果？§3.5 §3.5 回回归归模型的其他函数方式模型的其他函数方式 一、模型的类型与变换一、模型的类型与变换 二、非线性回归实例二、非线性回归实例 三、非线性最小二乘估计三、非线性最小二乘估计说说 明明•在在实践践经济活活动中，中，经济变量的关系是复量的关系是复杂的，的，直接表直接表现为线性关系的情况并不多性关系的情况并不多见•如著名的恩格如著名的恩格尔曲曲线(Engle curves)表表现为幂函数曲函数曲线方式、宏方式、宏观经济学中的菲利普斯曲学中的菲利普斯曲线〔〔Pillips cuves〕表〕表现为双曲双曲线方式等•但是，大部分非但是，大部分非线性关系又可以性关系又可以经过一些一些简单的数学的数学处置，使之化置，使之化为数学上的数学上的线性关系，从性关系，从而可以运用而可以运用线性回性回归模型的模型的实际方法一、模型的类型与变换一、模型的类型与变换 1 1、倒数模型、多、倒数模型、多项项式模型与式模型与变变量的直接置量的直接置换换法法 例如，描画税收与税率关系的拉弗曲例如，描画税收与税率关系的拉弗曲线：抛物：抛物线 s = a + b r + c r2 c<0 s：税收；：税收； r：税率：税率设X1 = r，X2 = r2， 那么原方程变换为 s = a + b X1 + c X2 c<0 2、幂函数模型、指数函数模型与对数变换法、幂函数模型、指数函数模型与对数变换法 例如，Cobb-Dauglas消费函数：幂函数 Q = AKLQ：产出量，K：投入的资本；L：投入的劳动 方程两边取对数： ln Q = ln A +  ln K +  ln L3、复杂函数模型与级数展开法、复杂函数模型与级数展开法 方程两边取对数后，得到： (1+2=1) Q:产出量，K：资本投入，L：劳动投入 ：替代参数， 1、2：分配参数例如，常替代例如，常替代弹性性CES消消费函数函数 将式中ln(1K- + 2L-)在=0处展开台劳级数,取关于的线性项，即得到一个线性近似式。

如取0阶、1阶、2阶项，可得 二、可化为线性的非线性回归实例二、可化为线性的非线性回归实例 例例3.5.1 3.5.1 建立中国城建立中国城镇镇居民食品消居民食品消费费需求函数需求函数模型 根据需求实际，居民对食品的消费需求函数大致为 Q:居民对食品的需求量，X：消费者的消费支出总额P1：食品价钱指数，P0：居民消费价钱总指数 零阶齐次性，当一切商品和消费者货币支出总额按同一比例变动时，需求量坚持不变 (*)(**)为了了进展比展比较，将同，将同时估估计〔〔* *〕式与〔〕式与〔****〕式  根据恩格尔定律，居民对食品的消费支出与居民的总支出间呈幂函数的变化关系: 首先,确定详细的函数方式对数变换: 思索到零阶齐次性时(***)(****)(****)式也可看成是对〔***〕式施加如下约束而得因此，对〔****〕式进展回归，就意味着原需求函数满足零阶齐次性条件X：人均消费X1：人均食品消费GP：居民消费价钱指数FP：居民食品消费价钱指数Q：人均食品消费〔90年价〕P0：居民消费价钱缩减指数〔1990=100〕P1：居民食品消费价钱缩减指数〔1990=100〕•按〔按〔***〕式估〕式估计详细解解释估估计结果及其果及其经济含含义。

•按〔按〔****〕式估〕式估计详细解解释估估计结果及其果及其经济含含义三、非线性最小二乘估计三、非线性最小二乘估计⒈ ⒈ 普通最小二乘原理普通最小二乘原理 残差平方和残差平方和 取极小取极小值的的一一阶条件条件 如何求解非如何求解非线性方程？性方程？ ⒉ ⒉ 高斯－牛高斯－牛顿顿(Gauss-Newton)(Gauss-Newton)迭代法迭代法 •高斯－牛高斯－牛顿迭代法的原理迭代法的原理 • 对原始模型展开台原始模型展开台劳级数，取一数，取一阶近似近似值 构造并估构造并估计线计线性性伪伪模型模型构造构造线性模型性模型估估计得到参数的第得到参数的第1次迭代次迭代值迭代迭代•高斯－牛高斯－牛顿迭代法的步迭代法的步骤⒊ ⒊ 牛牛顿顿－拉夫森－拉夫森(Newton-Raphson)(Newton-Raphson)迭代法迭代法 •自学，掌握以下自学，掌握以下2个要点个要点•牛牛顿－拉夫森迭代法的原理－拉夫森迭代法的原理• 对残差平方和展开台残差平方和展开台劳级数，取二数，取二阶近似近似值；；• 对残差平方和的近似残差平方和的近似值求极求极值；；• 迭代。

迭代•与高斯－牛与高斯－牛顿迭代法的区迭代法的区别•直接直接对残差平方和展开台残差平方和展开台劳级数，而不是数，而不是对其中其中的原模型展开；的原模型展开； •取二取二阶近似近似值，而不是取一，而不是取一阶近似近似值⒋⒋运用中的一个困运用中的一个困难难•如何保如何保证迭代所逼近的是迭代所逼近的是总体极小体极小值〔即最小〔即最小值〕〕而不是部分极小而不是部分极小值？？•普通方法是模普通方法是模拟实验：随机：随机产生初始生初始值→估估计→改改动初始初始值→再估再估计→反复反复实验，，设定收定收敛规范〔例范〔例如如100次延次延续估估计结果一果一样〕〕→直到收直到收敛⒌⒌非非线线性普通最小二乘法在性普通最小二乘法在软软件中的件中的实现实现•给定初定初值•写出模型写出模型•估估计模型模型•改改动初初值•反复估反复估计⒍⒍例例题题•例例3.5.1 3.5.1 建立中国城建立中国城镇居民食品消居民食品消费需求函数模型需求函数模型线性估计线性估计讨论讨论•普通情况下，普通情况下，线性化估性化估计和非和非线性估性估计结果差果差别不大假设差差别较大，在确大，在确认非非线性估性估计结果果为总体最小体最小时，，应该疑心和疑心和检验线性模型。

性模型•非非线性估性估计确确实存在部分极小存在部分极小问题•根据参数的根据参数的经济意意义和数和数值范范围选取迭代初取迭代初值•NLS估估计的异方差和序列相关的异方差和序列相关问题•NLS不能直接不能直接处置•运用最大似然估运用最大似然估计§3.6 §3.6 受受约约束回束回归归 Restricted Regression Restricted Regression 一、模型参数的线性约束一、模型参数的线性约束 二、对回归模型添加或减少解释变量二、对回归模型添加或减少解释变量 三、参数的稳定性三、参数的稳定性说说 明明•在建立回在建立回归模型模型时，有，有时根据根据经济实际需求需求对模型中的参数施加一定的模型中的参数施加一定的约束条件例如：束条件例如：•需求函数的需求函数的0阶齐次性条件次性条件•消消费函数的函数的1阶齐次性条件次性条件•模型施加模型施加约束条件后束条件后进展回展回归，称，称为受受约束回束回归〔〔restricted regression〕〕;•未加任何未加任何约束的回束的回归称称为无无约束回束回归〔〔unrestricted regression〕。

〕一、模型参数的线性约束一、模型参数的线性约束1 1、参数的线性约束、参数的线性约束2 2、参数线性约束检验、参数线性约束检验•对所所调查的的详细问题能否施加能否施加约束？需束？需进一步一步进展相展相应的的检验常用的检验有：有：F检验、、x2检验与与t检验•F检验•构造构造统计量；量；•检验施加施加约束后模型的解束后模型的解释才干能否才干能否发生生显著著变化• 受受约约束束样样本回本回归归模型的残差平方和模型的残差平方和RSSR大于无大于无约约束束样样本回本回归归模型的残差平方和模型的残差平方和RSSU这这意味着，意味着，通常情况下，通常情况下，对对模型施加模型施加约约束条件会降低模型的束条件会降低模型的解解释释才干•假假设约束条件束条件为真，那么受真，那么受约束回束回归模型与无模型与无约束回束回归模型具有一模型具有一样的解的解释才干，才干，RSSR RSSR 与与 RSSURSSU的差的差别较小•可用〔可用〔RSSR RSSR －－RSSURSSU〕的大小来〕的大小来检验约束的真束的真实性 例例3.6.1 3.6.1 中中国国城城镇镇居居民民对对食食品品的的人人均均消消费费需需务务虚例中，虚例中，对对零零阶齐阶齐次性次性检验检验：： 取=5%，查得临界值F0.05(1,18)=4.41 结论：不能回绝中国城镇居民对食品的人均消费需求函数具有零阶齐次特性这一假设。

无约束回归:RSSU=0.017748， kU=3 受约束回归:RSSR=0.017787， KR=2 样本容量n=22， 约束条件个数kU - kR=3-2=1二、对回归模型添加或减少解释变量二、对回归模型添加或减少解释变量前者可以被看成是后者的受约束回归，经过约束检验决议能否添加变量H0：三、参数的稳定性三、参数的稳定性1 1、邹氏参数稳定性检验、邹氏参数稳定性检验•为了了检验模型在两个延模型在两个延续的的时间序列〔序列〔1,2,…，，n1〕与〔〕与〔n1+1,…，，n1+n2〕中能否〕中能否稳定，可定，可以将它以将它转变为在合并在合并时间序列序列( 1,2,…，，n1 ，，n1+1,…，，n1+n2 )中模型的中模型的约束束检验问题〔〔1,2,…，，n1〕〕〔〔n1+1,…，，n1+n2〕〕 合并两个时间序列为( 1,2,…，n1 ，n1+1,…，n1+n2 )，那么可写出如下无约束回归模型 假设=，表示没有发生构造变化，因此可针对如下假设进展检验：H0: =施加上述约束后变换为受约束回归模型：检验的F统计量为：•参数参数稳定性的定性的检验步步骤：：•分分别以两延以两延续时间序列作序列作为两个两个样本本进展回展回归，，得到相得到相应的残差平方：的残差平方： RSS1与与RSS2•将两序列并将两序列并为一个大一个大样本后本后进展回展回归，得到大，得到大样本下的残差平方和本下的残差平方和RSSR•计算算F统计量的量的值，与，与临界界值比比较。

假假设F值大大于于临界界值，那么回，那么回绝原假原假设，以，以为发生了构造生了构造变化，参数是非化，参数是非稳定的•该检验也被称也被称为邹氏参数氏参数稳定性定性检验〔〔Chow test for parameter stability〕2 2、邹氏预测检验、邹氏预测检验• 假设出现n2F(n2, n1-k-1) F>F(n2, n1-k-1) ，，那么回那么回绝原假原假设，以，以为预测期期发生了构造生了构造变化。

化  例例3.6.3 中国城中国城镇镇居民食品人均消居民食品人均消费费需求的需求的邹邹氏氏检验检验 参数稳定性检验1985~2019：：RSS1=0.0083 2019~2019：：1985~2019: RSS2=0.0008RSSU=0.0178给定=5%，查表得临界值F0.05(3, 16)=3.24 结论：F值>临界值，回绝参数稳定的原假设，阐明中国城镇居民食品人均消费需求在2019年前后发生了显著变化 四、非线性约束四、非线性约束阐明阐明•非线性约束检验是建立在最大似然原理根底上的主要的检验：•最大似然比检验〔likelihood ratio test, LR〕•沃尔德检验〔Wald test, W〕•拉格朗日乘数检验〔Lagrange multiplier test, LM〕•它们的共同特点是：在大样本下，以共同的检验为根底，而自在度就是约束条件的个数•本节不作为教学内容，供有兴趣的同窗自学。