非线性最小二乘.ppt

非线性最小二乘估计非线性最小二乘估计1•变量之间的关系更多地表现为非线性特征变量之间的关系更多地表现为非线性特征线性模型作为基础模型是非线性的近似，即任何非线性模型都可以通过线性模型来近似表达2•比如，模型•通过泰勒级数展开表述为3•模型 的线性近似表达式为4•但线性模型对非线性模型的近似程度取决于高阶部但线性模型对非线性模型的近似程度取决于高阶部分是否充分小分是否充分小即使在样本内线性模型能够较好地拟合数据，也不能准确地体现变量的结构关系非线性模型中，x对y 的边际影响（或弹性）是变化的；而线性模型中，x对y 的边际影响（或弹性）是常数很多情况下，线性模型与非线性模型对边际影响或弹性的估计存在非常大的差异另外，利用线性模型拟合非线性数据存在潜在的危险，即区间外预测会存在越来越大的误差因此，正确设定模型的形式是进行准确推断和预测的重要环节5•对于一般的回归模型，如以下形式的模型，• (1)•OLS一般不能得到其解析解一般不能得到其解析解。

比如，运用OLS方法估计模型（1），令S(B)表示残差平方和，即• (2)6•最小化S(B)，即根据一阶条件可以得到•以模型 为例，其一阶条件为7•上述方程组没有解析解，需要一般的最优化方法很多数值最优化算法都可以完成这一类任务，这些方法的总体思路是一样的即，从初始值出发，按照一定的方向搜寻更好的估计量，并反复迭代直至收敛•各种不同的最优化算法的差异主要体现在三个方面：搜寻的方向、估计量变化的幅度和迭代停止法则 8•非线性最小二乘法的思路是，通过泰勒级数将均值函数展开为线性模型即，只包括一阶展开式，高阶展开式都归入误差项然后再进行OLS回归，将得到的估计量作为新的展开点，再对线性部分进行估计如此往复，直至收敛9⒈ ⒈ 普通最小二乘原理普通最小二乘原理 残差平方和残差平方和 取极小值的取极小值的一阶条件一阶条件 如何求解非如何求解非线性方程？线性方程？ 10⒉ ⒉ 高斯－牛顿高斯－牛顿(Gauss-Newton)(Gauss-Newton)迭代法迭代法 •高斯－牛顿迭代法的原理高斯－牛顿迭代法的原理 对原始模型展开泰勒级数，取一阶近似值对原始模型展开泰勒级数，取一阶近似值11 构造并估计线性伪模型构造并估计线性伪模型构造线性模型构造线性模型估计得到参数的第估计得到参数的第1次迭代值次迭代值迭代迭代12•高斯－牛顿迭代法的步骤高斯－牛顿迭代法的步骤13⒊ ⒊ 牛顿－拉夫森牛顿－拉夫森(Newton-Raphson)(Newton-Raphson)迭代法迭代法 •自学，掌握以下自学，掌握以下2个要点个要点•牛顿－拉夫森迭代法的原理牛顿－拉夫森迭代法的原理– 对残差平方和展开台劳级数，取二阶近似值；对残差平方和展开台劳级数，取二阶近似值；– 对残差平方和的近似值求极值；对残差平方和的近似值求极值；– 迭代。

迭代•与高斯－牛顿迭代法的区别与高斯－牛顿迭代法的区别–直接对残差平方和展开台劳级数，而不是对其中的原直接对残差平方和展开台劳级数，而不是对其中的原模型展开；模型展开； –取二阶近似值，而不是取一阶近似值取二阶近似值，而不是取一阶近似值14⒋⒋应用中的一个困难应用中的一个困难•如何保证迭代所逼近的是总体极小值（即最小值）如何保证迭代所逼近的是总体极小值（即最小值）而不是局部极小值？而不是局部极小值？•一般方法是模拟试验：随机产生初始值一般方法是模拟试验：随机产生初始值→估计估计→改改变初始值变初始值→再估计再估计→反复试验，设定收敛标准（例反复试验，设定收敛标准（例如如100次连续估计结果相同）次连续估计结果相同）→直到收敛直到收敛15⒌⒌非线性普通最小二乘法在软件中的实现非线性普通最小二乘法在软件中的实现•给定初值给定初值•写出模型写出模型•估计模型估计模型•改变初值改变初值•反复估计反复估计16⒍⒍例题例题•例例 建立中国城镇居民食品消费需求函数模型线性估计17线性估计18讨论讨论•一般情况下，线性化估计和非线性估计结果差异一般情况下，线性化估计和非线性估计结果差异不大如果差异较大，在确认非线性估计结果为不大。

如果差异较大，在确认非线性估计结果为总体最小时，应该怀疑和检验线性模型总体最小时，应该怀疑和检验线性模型•非线性估计确实存在局部极小问题非线性估计确实存在局部极小问题•根据参数的经济意义和数值范围选取迭代初值根据参数的经济意义和数值范围选取迭代初值•NLS估计的异方差和序列相关问题估计的异方差和序列相关问题–NLS不能直接处理不能直接处理–应用最大似然估计应用最大似然估计。