最小一乘法和最小二乘法的比较.docx

性模型的参数估计中，普遍采用最小二乘法，对于和最小二乘法有相同求解思想的最小一乘法却很少关注，现在对二者做一个对比一、最小一乘法和最小二乘法的求解思想回顾对于一组方程©1 Xi + 如S ■…+ 如 =严门第十"器比 =十"加丄z十・・* + ~^h如果方程的个数n＞大于变量的个数k,那么这组方程是无解的，这符合现实情况， 我们只分析几个变量，而产生的数据结果是无穷的，反映在坐标图上就是所有样 本点不可能全都在一条回归线上那么无解如何求参数呢？只能求出一组最优解 使得每个方程左右两边尽可能接近（无法相等），有很多种方法可以达到目的， 其中两种方法是：1.计算方程两边的绝对离差之和，使其达到最小，即此方法为最小一乘法2•计算方程两边的离差平方和，使其达到最小，即工（旳心+&驴比+ *"+钳心一町尸此方法为最小二乘法由上可以看出，最小一乘法和最小二乘法的求解思想是相同的，都是在离差最小 状态下求解参数二、最小一乘法和最小二乘法的区别最小一乘法和最小二乘法虽然在求解思想上相同，但是求解过程却差别很大，最 小一乘法由于绝对值符合的存在，使得计算起来很复杂，需要借助计算机实现， 并且没有确定的估计量表达式，其结果可能不是唯一的，而最小二乘法只需要求 导即可，结果是唯一的，在高斯经典假设条件下，最小二乘法估计出的参数还具 有无偏性、线性、最小方差性三个优良特质，这也使得最小二乘法得到广泛应用， 成为参数估计最基本的方法。

最小一乘法的目标函数为满足目标函数达到最小的是 Y 关于 X 的条件中位数，由此可知，最小一乘回归线 是中位数回归线最小二乘法的目标函数为工（匕一金一01X子1=1满足目标函数达到最小的是 Y 关于 X 的条件均值，由此可知，最小二乘回归线是 均值回归线估计结果的不同是两种算法的本质区别三、最小一乘法和最小二乘法的优劣比较由前面得知，二者最根本的区别是估计结果的不同，由中位数和均值的统计性质 也可得知，中位数不易受到极值影响，而均值容易受到极值影响，在数据中存在 极值或数据分布呈偏态情况下，中位数比均值更具代表性如果数据是对称分布的，没有极值的影响，那么最小一乘法和最小二乘法的结果 基本相同，因为在对称分布的数据中，中位数和均值是一致的，此时从便捷的角 度考虑，可选择最小二乘法如果数据呈偏态分布，数据中有极值存在，此时最 小一乘法比最小二乘法更能代表数据变动特征严格来讲，最小二乘法的使用前 提是数据满足高斯经典假设，这样得出的估计结果才具有优良性质，只是由于大 样本的渐近性以及最小一乘法计算过于复杂，才使得基本满足假设条件就可使用 最小二乘法综上所述，虽然最小二乘法已经被认为是估计参数最普遍采用的方法，我们仍然需要了解最小一乘法的优劣，并在适当的时候加以采用。