36曲线拟合的最小二乘法

第三章曲线拟合的最小二乘法/函数平方逼近初步曲线拟合问题:(建立试验数据的模型)在实际应用中，往往并不需要曲线通过给定的数据点，而只要求用曲线(函数)近似代替给定的列表函数时，其误差在某种度量意义下最小。函数逼近问题:(连续函数的逼近)在实际应用中常需为解析式子比较复杂的函数寻找一个简单函数来近似代替它，并要求其误差在某种度量意义下最小。可统称为最佳逼近问题§3.1拟合与逼近问题一.问题的提出插值法是使用插值多项式来逼近未知或复杂函数的，它要求插值函数与被插函数在插值节点上函数值相同，而在其他点上没有要求。在非插值节点上有时函数值会相差很大。若要求在被插函数的定义区间上都有较好的近似，就是最佳逼近问题。必须找到一种度量标准来衡量什么是最佳逼近.最佳一致逼近是在函数空间M中选P(x)满足但由于绝对值函数不宜进行分析运算，常替之以来讨论，于是最佳逼近问题变为最佳平方逼近问题这即为连续函数的最佳平方逼近.对于离散的问题，最佳平方逼近问题为:就是常说的曲线拟合的最小二乘法.(*)min)()(maxxpxfbxamin)())()((2dxxxpxfbamin))()((20xpxfiimii最佳逼近二.预备知识K,(u,v),:(1)(u,u)0,(u,u)=0u=0;(2)(u,v)=(u,v);(3)(u,v)=(u,v),K;(4)(u+v,w)=(u,w)+(v,w),wX,(u,v)uvX设X是数域K上的线性空间,若对u,vX,有中一个数与之对应记为其满足且则称为与的内积;而定义了内积的线性空间称为内积空间.内积:常采用的内积与范数n12121.Rxyx(,,,)y(,,,)iiiTnTnxyxxxyyyni=1向量空间上的内积:(,)=212:x(x,x)niiix由内积定义范数（满足三个条件）范数2.[,]:,[,],(,)()();(,)()()(),().babaCabfgCabfgfxgxdxfgxfxgxdxx连续函数空间上的内积设定义内积:及加权内积为权函数1122222:(,)(()())bafffxfxdx范数0123.1.1,,,,[,],(Gram)nCab定理设由他们的内积构成的矩阵称矩阵G),(),(),(01000n),(),(),(11101n),(),(),(10nnnn012G,,,,.n则非奇异的充分必要条件是:线性无关1.正交函数族与正交多项式定义1若f(x),g(x)∈C[a,b],ρ(x)为[a,b]上的权函数且满足:则称f(x)与g(x)在[a,b]上带权ρ(x)正交。正交多项式若函数族ψ0(x),ψ1(x),…,ψn(x),…满足关系则称{ψk(x)}是[a,b]上带权ρ(x)的正交函数族。例如，三角函数族1,cosx,sinx,cos2x,sin2x,…就是在区间[-π,π]上的正交函数族。定义2设ψn(x)是[a,b]上首项系数an≠0的n次多项式,ρ(x)为[a,b]上权函数，如果多项式序列满足关系式:则称为多项式序列为在[a,b]上带权ρ(x)正交，称ψn(x)为[a,b]上带权ρ(x)的n次正交多项式。只要给定区间[a,b]及权函数ρ(x),均可由一族线性无关的幂函数{1,x,…,xn,…}利用逐个正交化手续(Gram-Schmidt正交化方法)：构造出正交多项式序列。2.勒让德多项式定义3当区间为[-1,1],权函数ρ(x)≡1时,由{1,x,…,xn,…}正交化得到的多项式就称为勒让德(Legendre)多项式,并用P0(x),P1(x)，…，Pn(x)，…表示。这是勒让德于1785年引进的。1814年罗德利克(Rodrigul)给出了简单的表达式：由于(x2-1)n是2n次多项式，求n阶导数后得到于是得首项xn的系数显然最高项系数为1的勒让德多项式为:勒让德多项式有下述几个重要性质：性质1.正交性性质2.奇偶性pn(-x)=(-1)npn(x)性质3.递推关系(n+1)pn+1(x)=(2n+1)xpn(x)-npn-1(x)(n=1,2,……)(*)由p0(x)=1，p1(x)=x，利用(*)就可推出pn(x)的表达式:性质4.pn(x)在区间[-1，1]内有n个不同的实零点。实例：考察某种纤维的强度y与其拉伸倍数x的关系，下表是实际测定的24个纤维样品的强度与相应的拉伸倍数的记录:编号拉伸倍数强度编号拉伸倍数强度11.91.41355.5221.3145.2532.11.81565.542.52.5166.36.452.72.8176.5662.72.5187.15.373.531986.583.52.72087944218.98.51043.52298114.54.2239.58.1124.63.524108.1iiyx强度iiyx强度一.实例讲解3.2曲线拟合(最小二乘法)§1234567891012345678912345678910123456789纤维强度随拉伸倍数增加而增加yx因此可以认为强度与拉伸倍数的主要关系应是线性关系并且24个点大致分布在一条直线附近xxy10)(为待定参数其中10,---------(1)越接近越好样本点与所有的数据点我们希望),)(()(10iiyxxxy必须找到一种度量标准来衡量什么曲线最接近所有数据点.二、问题的提法*()(,)0,1,,---------(1),()().iiiyfxxxfimySxfx设在m+1个节点[a,b]上的值给定,即要在某一个特定的函数空间中找一个函数作为的近似模型),,1,0)((nixi的基函数为设函数类mn一般要求即生成的函数集是由也称,),,1,0)((nixi)}(,),(),({10xxxspann2220mii定义平方误差(偏差平方和):0()()njjjSxax则可设01(,,,),()()TmiiiSxf其中误差或残差我们选取的度量标准是*()Sx在函数空间中选取一个函数njjjxaxS0*)()(****0011()()()nnaxaxax22*20(*())miiiSxf2()0min(())miiSxiSxf22)(minxS中的任意函数为其中mjjjxaxS0)()(---------(2)---------(3)使得*0(3)*()()njjjSxax称满足条件的求函数的方法为数据拟合的最小二乘法为最小二乘解njjjxaxS0*)()(*为拟合系数为拟合函数),,1,0(,)()(0njaxaxSjnjjj),,1,0(,)(njaxSj如何求拟合系数后在确定了拟合函数*0*()()(3)njjjSxax使得满足拟合条件呢？误差称为最小二乘解的平方22*200(())mnjjiiijaxf20(())miiiSxf三、法方程组22njjjxaxS0)()(由的函数为拟合系数),,1,0(njaj可知因此可假设01(,,,)nFaaa200(())mnjjiiijaxf因此求最小二乘解转化为二次函数***0101(,,,)(),,,nnaaaaaa求F的最小值极小值点的问题.由多元函数取极值的必要条件01(,,,)0nkFaaaank,,1,000[2(())()]mnjjiikiijaxfxkFa0得即000()()()mnmjjikiikiijiaxxfx00[()()()]0mnjjikiikiijaxxfx000()()()mnmjjikiikiijiaxxfx000[()()]()nmmjikijikijiixxafxnk,,1,0---------(4)00110000()()()()()()()mmmikiikinnikiiiimikiiaxxaxxaxxfxnk,,1,0即元线性方程组的是一个关于显然1,,,)4(10naaan引入记号))(,),(),((10mrrrxxxr01(,,,)mffff)()(),(0ijmiikjkxx则由内积的概念可知0(,)()mkkiiifxf---------(5)---------(6)),(jk),(kj显然内积满足交换律方程组(4)便可化为),(),(),(),(1100faaaknknkknk,,1,0---------(7)的线性方程组常数项为这是一个系数为),(),,(fkjk将其表示成矩阵形式naaa10),(),(),(10fffn),(),(),(01000n),(),(),(11101n),(),(),(10nnnn-----(8)nGad简单记为0101(8)(),(),,(),,,nmxxxxxx称式为函数序列在节点上的法方程组,并且其系数矩阵为对称阵.根据Cramer法则,法方程组有唯一解***0011,,,nnaaaaaa,!,n,{1,,,},,G,nspanxxnm这里没有一般的理论具体问题具体分析但在应用中常取为阶多项式空间即且这时是非奇异的:(8),G?问题方程解的存在唯一性即是否非奇异***01(,,,)nFaaa200(())mnjjiiijaxf01(,,,)nFaaa即是的最小值22*20(*())miiiSxf2()0min(())miiSxiSxf22)(minxS所以*200(())mnjjiiijaxf2()00min(())mnjjiiSxijaxf*200(())mnjjiiijaxf**0()()njjjSxax为最小二乘解.因此()()(,)(0,1,,)niiSxPxxfim常使用多项式作为的拟合函数,作为一种简单的情况,()()nSxPx拟合函数的基函数为:,1)(0x,)(1xx,,)(,kkxxnnxx)(基函数之间的内积为)()(),(0ijmiikjkxxmijikixx0mijkix00(,)()mkkiiifxf0mkiiixf22*平方误差20(*())miiiSxf*0(,)(,)njjjffaf例1.回到本节开始的实例，从散点图可以看出纤维强度和拉伸倍数之间近似与线性关系01()()Sxyxaax故可选取线性函数为拟合函数，其基函数为1)(0xxx)(1建立法方程组根据内积公式，可得24),(005.127),(1061.829),(111.113),(0f6.731),(1f法方程组为61.8295.1275.1272410aa6.7311.1131505.00a**()0.15050.8587Syxx即为所求的最小二乘解8587.01a解得6615.5*22平方误差为1234567891012345678912345678910123456789拟合曲线与散点的关系如右图:四、加权最小二乘法(,)(0,1,,)iixfim对于一组给定的数据点(,)(0,1,,)iixfim在拟合的数据点