最小二乘法与曲线拟合.doc

第一节最小二乘法的基本原理和多项式拟合一最小二乘法的基本原理从整体上考虑近似函数“⑴同所给数据点（兀心）（i二0,1,…』）误差人=〃（兀）-儿（i二0,1,・••』）的大小，常用的方法有以下三种：一是误差人=卩（兀）一兀（i=0,1,…,m）绝对值的最大值題计引，即误差向量心比片…匚厂的g—范数；二是误差绝对值的和mmVIrl亍7/幺1,即误差向量r的1—范数;三是误差平方和幺的算术平方根，即误差向量r的2—范数；前两种方法简单、H然，但不便于微分运算，后一种方法相当于考虑2—范数的mYr2平方,因此在曲线拟合中常采用误差平方和気来度量误差"Hi二0,1,…,m）的整体大小数据拟合的具体作法是：对给定数据（兀』J（i=0,1,…，m）,在取定的函数类①中，求p（x）€①，使误差匚=-（i二0,1,…,m）的平方和最小，即mm工［/心）一）讦=皿/=0二1=0从儿何意义上讲，就是寻求与给定点（兀J）（i二0,1,…,m）的距离平方和为最小的曲线y=PW（图6-1）函数卩（X）称为拟合函数或最小二乘解，求拟合函数卩（X）的方法称为曲线拟合的最小二乘法在曲线拟合中，函数类①可有不同的选取方法.二多项式拟合假设给定数据点仇心）（i二0,1,…,m）,①为所有次数不超过＜加）的多项式构成的函数类，现求一似，使得mm（n\"1=£［Pn（兀）-儿］2=££M-X=J1J111Z==O1=0\A=O丿（］）当拟合函数为多项式时，称为多项式拟合，满足式（1）的几（X）称为最小二乘拟合多项式。

特别地，当n二1时，称为线性拟合或直线拟合显然i=0k=0为4,®,…心的多元函数，因此上述问题即为求/=的极值问题由多元函数求极值的必要条件，得nmmi=Oi=0i=Oj=o」,…/(3)是关丁…心的线性方程组，用矩阵表示为丈r-=of?=onz+X加加工/=0w.r+iX

]=[565.5」[20029.44524539325.83aQ=70.572,故得R与T的拟合直线为①=0.921例1测得铜导线在温度「°C）时的电阻&（G）如表6-1,求电阻R与温度T的近似函数关系10123456T'(°C)19.125.030.136.040.045.150.0&(G)76.3077.8079.2580.8082.3583.9085.10解画出散点图（图6-2）,可见测得的数据接近一条直线，故取严1,拟合函数为1爲&TR019.176.30364.811457.330125.077.80625.001945.000230.179.25906.012385.425336.080.801296.002908.800440.082.351600.003294.000545.183.902034.013783.890650.085.102500.004255.000E245.3565.59325.8320029.445R=aQ+aj列表如下正规方程组为7245.3解方程组得/?=70.572+0.9217利用上述关系式，可以预测不同温度时铜导线的电阻值例如，由R二0得T二-242.5,即预测温度T二-242・5°C时，铜导线无电阻。

85•80・75•6-2例2例2已知实验数据如下表5238130171473813017253171025解得故拟合多项式为aQ=13.4597,①=-3.6053a2=0.2676101231567313456L89101054211234试用最小二乘法求它的二次拟合多项式解设拟合曲线方程为y=aakx+a2x2IX€I0i1011110101359278115452441664256166435225125625105046136216129663657149343240174968264512409616128ry19381729656127243810410010001000040400£53323813017253171471025列表如下得正规方程组95238132(7)y=13.4597-3.6053+0.2676%2*三最小二乘拟合多项式的存在唯一性定理1设节点「儿互异，则法方程组(4)的解存在唯一证由克莱姆法则，只需证明方程组(4)的系数矩阵非奇异即可用反证法，设方程组(4)的系数矩阵奇异，则其所对应的齐次方程组sf=o川工Z11.1+X加mXint/=Omf=oniE

式仔)可写为(7)（8）“m工（工dk=0/=0将式（8）中第j个方程乘以勺（j二0,1，…，n）,然后将新得到的n+1个方程左右两端分别相加,因为0得冋nni=o-层0/=0n；=Onm工-1=0/=0ntnni=O；=Ok=Omititm=E（£勺球）（£&H）=XlPna）F;=Oj=O1=0/=O其中所以k=0几（小0（i二o,l,…,m）几（%）是次数不超过n的多项式，它有m+l>n个相异零点，由代数基本定理，必须有«o=«i=-=与齐次方程组有非零解的假设矛盾因此正规方程组（4）必有唯Pn⑴=Yakxk一解定理2设气①，…，①是正规方程组（4）的解，则态是满足式（1）的最小二乘拟合多项式A=O恒有ntmS[Qa）-兀F辽[pna）一xF即可Z=0/=O证只需证明，对任意一组数%九…,叽组成的多项式mnir£［e„（兀）-）\F-£（兀）-xFr=Of=0mm=E［Qn（E）-PnU）F+2工［Qn（兀）一Pn（兀）］•［几（兀）一X］r=0i=Ono+2ff［（巧一勺）斗］.Z=O7=0k=O=（S-勺应£叭£-儿对i=Ok=O丿（8）（8）因为纵（20,1,…，n）是正规方程组（4）的解，所以满足式（2）,因此有mmE（"J-XF-工［Pn（兀）-儿f»0i=0Z=0故几（X）为最小二乘拟合多项式。

四多项式拟合中克服正规方程组的病态在多项式拟合中，当拟合多项式的次数较高时，其正规方程组往往是病态的而且① 正规方程组系数矩阵的阶数越高，病态越严重；② 拟合节点分布的区间*”心］偏离原点越远，病态越严重；③ 兀（i二o,1,…，m）的数量级相差越大，病态越严重为了克服以上缺点，一般采用以下措施：① 尽量少作高次拟合多项式，而作不同的分段低次拟合；② 不使用原始节点作拟合，将节点分布区间作平移，使新的节点"关丁•原点对称，可大大降低正规方程组的条件数，从而减低病态程度平移公式为：E二兀—氏；兀”，20,1,…，加⑼③ 对平移后的节点匕（i=0,1,…，m）,再作压缩或扩张处理：•V*=pxi,/=0,1,…，加（jo）/?=J（/h+1）/^2（X,-尸其中Y,（r是拟合次数）（11）经过这样调整可以使X：的数量级不太大也不太小，特别对于等距节点兀7加（心0,1,…,加），作式（10）和式（11）两项变换后，其正规方程组的系数矩阵设为A,则对1〜4次多项式拟合，条件数都不太大，都可以得到满意的结果变换后的条件数上限表如下：拟合次数1231cond2(A)=1<9.9<50.3〈435④ 在实际应用中还可以利用正交多项式求拟合多项式。

一种方法是构造离散正交多项式；另一种方法是利用切比雪夫节点求出函数値后再使用正交多项式这两种方法都使正规方程组的系数矩阵为对角矩阵，从而避免了正规方程组的病态我们只介绍第一种,见第三节例如m二19,X二328,h二1,為二花+ih,i二0,1,…，19,即节点分布在[328,347],作二次多项式拟合时① 肖•接用兀构造正规方程组系数矩阵人，计算可得cond2（AQ）=2・25x10"严重病态，拟合结果完全不能用"② 作平移变换328+3472心0丄…,19用兀构造正规方程组系数矩阵A，计算可得cW,（AJ=4.483868xlO16比cond^A.）降低了13个数量级，病态显著改善，拟合效果较好③取压缩因子p=«0.1498作压缩变换X：=pXi,20,1,…,19用€构造正规方程组系数矩阵九，计算可得®d（4）=6.839乂比cond^A,）降低了3个数量级，是良态的方程组，拟合效果十分理想如有必耍，在得到的拟合多项式几（F）中使用原来节点所对应的变量x,可写为03=几3心-号①）仍为一个关于x的n次多项式，正是我们耍求的拟合多项式第二节超定方程组的最小二乘解设线性方程组Ax=b中，A=（au）^}b是m维已知向量，x是n维解向量，当m>n即方程组中方程的个数多丁•未知量的个数时，称此方程组为超定方程组。

一般來说，超定方程组无解（此时为矛盾方程组），这时需要寻找方程组的一个“最近似”的解记r=b-Axf称使⑷2即阿;最小的解F为方程组Ax=b的最小二乘解可以证明如下定理：定理F。