最小二乘法.docx

最小二乘法最小二乘法起源于以测量和观测为基础的天文学Gauss在1794年利用最小二乘法解决了多余观测问题，当时他只有十七岁可以用下面的简单例子描述这 类问题k1234567xk0123456yk1.41.31.41.11.31.81.6假定通过观测或实验得到如下一组数据(即列表函数)：872.3我们的目的是一简单的式子表出这些数据间的关系从分析数据看出，这些点差 不多分布在一条直线上，因此我们自然想到用线性式y = ax + b表示它们之间的 关系这就须定出参数a和b的值来这实际上是多余观测问题，用插值法不能 确定出a和b的值代定参数的确定归结为矛盾方程组的求解问题假定有某方法可以定出a和b，则按y二a + bx，给出一个x便可以算出一个y 我们记y = a + bx (k = 1,…,8).kx称为y的估计值，显然它们不会是完全相同的，它们之间的差(通常称为残 kk差)£ = y - y (k = 1,…,8)k k k无疑是衡量被确定的参数a和b (也就是近似多项式y = ax + b )好坏的重要标志可以规定许多原则来确定参数a, b例如(1) 参数的确定，将使残差绝对值中最大的一个达到最小，即T = max £ 为最小；k(2) 参数的确定，将使残差绝对值之和达到最小，即Z |e |为最小；kk(3) 参数的确定，将使残差的平方和达到最小，即Z e 2为最小。

k(1) 和(2)两个原则是很直观的，也很理想，但很不好用；而原则(3) 既直观又很好用按原则(3)确定待定参数，从而得到近似多项式的方法，就 是通常所说的最小二乘法这一方法的理论根据是，概率理论已证明，只有这样 的原则才能使得观测或实验的偶然误差对于所作的近似多项式有最小的影响回到所提出的问题上来，即用最小二乘法确定参数a,b按最小二乘法，应使S(a,b) = Z (y 一 (a + b ))2ii i=1取最小值因此，应有孚=2Z(y -(a + b )) = 0, ca i ii=1S = 2Z (y — (a + b ))x = 0. cb i i ii=1由此，得到如下线性方程组：aZ i 0 + bZ x =Z y ,ii i=1 i=1 i=1aZ8 x +bZ8 x2=Z8 xy.i i i ii=1 i=1 i=1经过简单计算，这个方程组成为8a + 28b =12.2 ,28a +140b = 47.3.解之可得a = 1.142, b = 0.110,从而得近似多项式pp) = 1.142 + O.llOx.现在转入讨论更为一般的情形设已知列表函数y = f (x )(i = 0,1, ,m),并且 ii我们想用一个通常的n(< m)次多项式p (x) = a + a x +…+ a xnn 0 1 n1.1)去近似它。

问题是应该如何选择a ,a，…,a使p (x)能较好地近似列表函数0 1 n nf (x)按最小二乘法，应该选择a ,a，…,a使得0 1 nS(a ,a ,…,a ) = £(f (x ) 一 p (x ))20 1 n i n ii=0取最小注意到S是非负的，且是a ,a，…,a01的 2 次多项式，它必有最小值 n求S对a , a,…,a的偏导数，并令其等于零,0 1 n得到£ (y - a - x n )x k = 0i 0 1 i n i ii=0(k 二 0,1,…,n).进一步，可以将它们写成mmy xk =ai i 0i=0 i=0xki+ a迟x1ii =0k+1 + + a £ x k+nnii=0(k 二 0,1,…,n).引进记号=£xkii=0u =£y xk,k i ii=0则上述方程组为a + s a +…+ s0 1 1s0s a + s a + + s< 1 0 2 1a = u , n0 a = u , n +1 n 1s a + s a +…+ s a n0n+1 1(1.3)它的系数行列式是X=n+1s0s1s1s2snsn+1ss由s （i = 0,1,...，2n）的定义及行列式性质，可以断言iX =n+1 (n +1)!1 E (W (g 0, g1，…,gn"（1.4）此处符号W表Vandermonde行列式，而工 是对所有可能的g （i二0,1,…,n）求和i侮个g可以取值x , x,…,x ,并且当i丰j时g 乂）。

i 0 1 m i j互异时,m由（1.4）式及Vandermonde行列式的性质可知，当x ,x，…,x11g0W (g ,g，…,g ) = g 21 n1g11.1.gn. g2n丰0.. gnng1n从而，X h0（〉0＞方程组（1.3）有唯一解a ,a，…,a ,且它们使6.2）取n+1 0 1 n极小值•如此，我们应用最小二乘法找到了 f（x）的近似多项式P（x）.n在利用最小二乘法组成和式6.2）时，所有点x都起到了同样的作用，但是i有时依据某种理由认为工中的某些项的作用大些，而另外一些作用小些（例如, 一些y.是由精度较高的仪器或操作上比较熟练的人员获得的，自然应该予以较i大的信任），这在数学上表现为用和右（f （x ）- p （x 尢i i n ii=0替代和（1・2）取最小值.p .〉0,且为p . = 1, p .通常称之为权；而G.5）为加权和.i i ii=1例1设已知函数f C）的表列值为x0.20.50.70.851y1.2211.6492.0142.3402.718试按最小二乘法构造f （x ）的二次近似多项式.解 经过简单计算可得关于参数a0, a 1和a2的方程组（参阅下面的第一个表）：5a0+3.250a1+2.503a2=9.9423.250a0+2.503a1+2.090a2=7.1852.503 a0 +2.090 a1 +1.826 a2 =5.857 解之，得 a2 =0.928, a1 =0.751, a0 =1.036.故p2幺)=0.928 x2+o.75i x+1.036.下表给出了 p2（X）在结点处的误差.X0.20.50.70.851y1.2211.6492.0142.3402.718p (x)21.2231.6442.0172.3442.715y - p (x)-0.0020.005-0.003-0.0040.003，我们希望用如下类型的函数：用多项式p（x）= a + a x +…+ a xn去近似一个给定的列表函数（即给n 0 1 n出的一组观测值y二f C.））时，需要确定的参数是a a…,a ;而p （x）可以i i 0 1 n n看成是a。

耳，…,an的线性函数.但是有时在利用观测或实验数据去确定一个经验公式时，往往要确定的函数和待定参数之间不具有线性形式的关系 .这样问题就变得有些复杂.然而，常常可以通过变量替换使其线性化.例如：s = ptqG.6 )去近似一个由一组观测数据（列表）所描绘的函数，其中p和q是待定的两个参数•显然s已非p和q的线性函数•怎样线性化呢？为此，我们在G.6）式两端取对数，得到In s = In p + q In t.记 ln s = y， ln p= a0， a1=q，x = ln t ，则（1.6）式变成y = a o + aix •这是一个一次多项式，它的系数a0和a1可以用最小二乘法求得.6.7 )Ci）我们经常希望用函数S = AeCt去近似一个以给定的列表函数，其中A、C是待定的参数•这时，我们可以在（L7） 的两端取对数：ln S = ln A + Ct记ln S = y， ln A — a0, C1 = ai，x —t，则 G .7）式变成y = a 0 + aix这样，仍可用最小二乘法定出a0,ai （从而也就定出了A,C），得到近似函数S = AeCt .例 2 设已知如下一组实验数据：t =2.2 2.7 3.5 4.1S =65 60 53 50试求一个（1.7）型的函数去近似它.解 计算以紧凑的形式表示如下：x0x = lntx2y = ln Sxy10.342 40.117 21.812 90.620 710.431 40.186 11.778 20.767 110.544 10.296 01.724 30.938 210.612 80.375 51.699 01.041 141.930 70.974 87.014 43.367 1SSSuu01201由此得方程组4a +1.9 3 07a = 7.0 1 44,011.9307a+ 0.9 7 48a=3.3671.01解之得 a。

ln p 二 1.963, p 二 91.9, q 二 ai 二—0.434,从而S 二 91.9t -0.434.。