73最小二乘法原理及算例

线性最小二线乘问题的存在与唯一线性模型的正规方程线性模型举例线性模型引深及推广线性最小二乘方法评注正交多项式问题的提出实例讲解•某种合成纤维的强度与其拉伸倍数有直接关系，下表是实际测定的24个纤维样品的强度与相应拉伸倍数的记录。•提示：将拉伸倍数作为x,强度作为y,在座标纸上标出各点，可以发现什么?数据表格编号拉伸倍数强度kg/mm2编号拉伸倍数强度kg/mm211.91.4135.05.522.01.3145.25.032.11.8156.05.542.52.5166.36.452.72.8176.56.062.72.5187.15.373.53.0198.06.583.52.7208.07.094.04.0218.98.5104.03.5229.08.0114.54.2239.58.1124.63.52410.08.10123456789024681012•从上图中可以看出强度与拉伸倍数大致成线形关系，可用一条直线来表示两者之间的关系。•解：设y*=a+bxi，令δ=yi-y*i=yi-a-bxi，根据最小二乘原理，即使误差的平方和达到最小，也就是令n•Q=∑δi2•i=1为最小，即求使•••(a,b)=••有最小值的a和b的值。)22412412(xyiiiiiba•计算出它的正规方程得•解得：a=0.15,b=0.859直线方程为：y*=0.15+0.859x60.73161.8295.1271.1135.12724baba一问题的提出插值法是使用插值多项式来逼近未知或复杂函数的，它要求插值函数与被插函数在插值节点上函数值相同，而在其他点上没有要求。在非插值节点上有时函数值会相差很大。若要求在被插函数的定义区间上，所选近似函数都能与被插函数有较好的近似，就是最佳逼近问题。最佳逼近是在函数空间M中选P(x)满足但由于绝对值函数不宜进行分析运算,常将上式化为来讨论，于是最佳逼近问题变为最佳平方逼近问题,而离散的最佳平方逼进问题就是常说的曲线拟合它们都可用最小二乘法求解。主页(*)min)()(maxxpxfbxamin)())()((2dxxxpxfbamin))()((20xpxfiimii•曲线拟合的最小二乘法•最小二乘原理当由实验提供了大量数据时,不能要求拟合函数在数据点处的偏差,即(i=1,2,…,m)严格为零,但为了使近似曲线尽量反映所给数据点的变化趋势,需对偏差有所要求.通常要求偏差平方和最小,此即称为最小二乘原理),(yxiiyxiii)(mimiiyxii1212))((||)(x•最小二乘法的求法yxxxxyxxaxyxaayyaaaaaaiimijjikimijkjminkmiijiijikkmiijinkikkjmiiinnnfxxxy)(,)()(,:)()()()())((:min)(),...,,()(...)()((:**11101101210110002:020,n)mm若引入记号得可得求偏导数并令其为零对函数组数据且共有设近似方程为就是所求的拟合函数存在唯一解线性无关时当可知可得矩阵则有niiinnnnnnnnnjkjkxnixxxfffnjfaaaaa0i101010101110101000n0k10,10:a)(),,...,()(),...(),(,...,,...,...,,............,...,,,...,,),...,,(,,•最小二乘法的几种特例)(),...,1,0(...........................n)mm(,...)(::,,.11021122210xnimxxayxyxyaaaxxxxxxxxxaxaaaiiniiiinninininiiiniinn即可求得拟合函数由此可得到相应的系数组数据且共有的相应法方程组则以同样原理即拟合函数式拟合函数常为代数多项见情况作为曲线拟合的一种常即可解得即对于拟合函数拟合这就是用途最广的线性时特别的当bayxybaxxxxbayiiiiiim0000200,.,1n.2例题下面举个例子以说明用最小二乘法解题的步骤。例电流通过2Ω电阻，用伏安法侧得的电压电流如表I(A)1246810V(V)1.83.78.212.015.820.2用最小二乘法处理数据。解1.确定V=(I)的形式。将数据点描绘在坐标上（如下图），可以看出这些点在一条直线的附近，故用线形拟合数据，即2.建立方程组。IaaV10二线性最小问题的存在与唯一•在科学实验中，很多情况数据间存在线性或可转化为线性的关系。线性最小二乘是最基本也是最重要的一种。•1线性最小二乘问题与线性最小二乘求解设Ax=b•其中ARmn，bRm，xRn当mn时，上方程超定方程组•令r=b-Ax，一般，超定方程无通常意义下解，•既无x使t=0。对这类方程求解意义是求x，使r22=b-Ax22为最小，称x为Ax=b的最小二乘解。主页2最小二乘解的存在性与唯一性定理：x*为Ax=b的最小二乘解充要条件ATAX*=ATb证明：充分性：若存在X*，使ATAX*=ATb则对任意向量令x=x*+y有b–Ax22=b–AX*22–2（y，AT（b–AX*））+Ay22=b–AX*22+Ay22b–AX*22X*为Ax=b的最小二乘解。必要性：令b–AX22=（x1，x2，，xn）=（x）则由多元函数极值的必要条件知，若X*为极值点，则（x）|——|=0xi|x=x*而（x1，x2，，xn）=bTb–2Ax+（Ax）TAx（x）由——=0（i=1，2，n）ATAx=ATb。xi若x*为Ax=b最小二乘解，则ATAx*=ATb。证毕ATAx=ATb称为最小二乘问题的Ax=b法方程组。当A=（aIj）mn的秩为n，既A的列线性无关时，ATAx=ATb有唯一解。三线形模型的正规方程•关于拟和模型必须能反映离散点分布基本特征。常选取是线性拟和模型，既所属函数类为M=Span{0，1，…n}，•其中0，1，…n是线性无关的基函数m•于是（x）=cjj（x）•j=0•通常选取每个j是次数j的简单多项式，即M是次•数n的n次多项式空间。取j（x）=xj，j=0，1，…，n•M=Span{1,x,x2，…，xn}，•从而（x）=C0+C1x1+…+Cnxn=Pn(x)•主页n设离散数据模型（x）=cjj（x）j=0则求解归结为n+1元函数S的极值问题:mnS（c0，c1，…，cn）=i[yi¯cjj（xi）]2i=0j=0显然S达最小值必要条件是Smn—=2i[yi¯cjj（xi）]k（xi）=0Cki=0j=0（k=0，1，…，n）这是关于c0，c1，…，cn的方程组，n改写成（j，k)cj=(y,k)(k=0,1,2,…n)称为正规方程组j=0其中mn（j，k)=ij（xi）k（xi）i=0j=0一般，nm，函数0，1，…，n，线性无关能保证正规方程组的系数矩阵（0，0）（1，0）…，（n，0）G=………，…(**)（0，n）（1，n）…，（n，n）的行列式不为零。因此正规方程组有唯一解。设其解为cj=cj*，j=0，1，…，n则所要求的离散点的拟合函数(最佳平方逼近)为n*（x）=cj*j（x）。J=0对已知连续函数f(x)的最佳平方逼近问题与离散点的最佳平方逼近有相同形式的正规方程组和结论,只不过内积公式变为dxjxxxkbajk)()()(),(•表中提供离散数据（xi，yi），（0i4）试用二次多项式进行拟合.•ixiyi*（xi）yi-*（xi）•001.00001.0052-0.0052•10.251.28401.27400.0100•20.501.64871.64820.0005•30.752.11702.1279-0.0109•41.002.71832.71300.0053四线形模型举例主页解:取M=Span（1，x，x2）其三个基函数为j（x）=xjj=0,1,2拟和函数是基函数的线性组合:（x）=c0+c1x+c2x2取0=1==4=1,由公式55（j，k）=xij+k，（y，k）=yixik，i=1i=1j，k=0，1，2可以算出（0，0）=5，（1，1）=1.875，（2，2）=1.3828（0，1）=（1，0）=2.5,（0，2）=（2，0）=1.875（1，2）=（2，1）=1.5625（y，0）=8.7680，（y，1）=5.4514，（y，2）=4.4215正规方程为5C0+2.5C1+1.875C2=8.76802.5C0+1.875C1+1.5625C2=5.45141.875C0+1.5625C1+1.3828C2=4.415解得C0=1.0052，C1=0.8641，C2=0.8427所求连续模型*为，*（x）=1.0052+0.8641x+0.8437x2最小平方残差5||y—*||22=（yi—*（xi))2=2.7610-4i=1•由上述我们已经知到上述线性模型实际上是最小二乘法的推广，实际上也就是多项式逼近函数的问题。它不仅可以解决一元问题还可用于多元问题。除此外还可求解某些非线性问题。求解方法是将其通过一定的代数变换转换为可用线性模型求解的问题。•比如对方程y=aebx取对数，得lny=lna+bx，•令Y=lny,A=lna,B=b则问题转化为解Y=A+Bx的线性问题。•类似的再如，对y=a+b/x拟和可对此方程取倒数，则新变量1/y于x成线性关系。五线性模型引深及推广主页六最小二乘法方法评注•最小二乘法方曲线拟和是实验数据处理的常用方法。最佳平方逼近可以在一个区间上比较均匀的逼近函数且具有方法简单易行，实效性大，应用广泛等特点。但当正规方程阶数较高时，往往出现病态。因此必须谨慎对待和加以巧妙处理。有效方法之一是引入正交多项式以改善其病态性。。主页正交多项式在高等数学中介绍付立叶级数时，曾提到函数系1,cosx,sinx,cos2x,sin2x,…cosnx,sinnx,…中，由于任意两个函数乘积在区间[-，+]上的积分都等于零，则说这个函数系在[-，+]上是正交的，并称这个函数系为正交函数系。下面给出正交函数系定义：设函数f(x),g(x)[a,b],且则称f(x)与g(x)在[a,b]上带权(x)正交,0)()()(),(dxxgxfxgfba在[a,b]上连续的函数0(x),1(x),2(x),...k(x)...,满足则称该函数系是在区间[a,b]上带权(x)正交函数系.下面介绍与上述定义有关的几个概念，然后引出正交多项的概念，最后再介绍正交多项式的性质以及几种常见的正交多项式。1.权函数:(1)设[a,b]是有限或无限区间,(x)是定义在[a,b]上的非零可积函数，若其满足则称(x)是[a,b]上的一个权函数。kjAkjxdxxxkkbajkj00)()()()(),(baba