计算方法-最佳平方逼近-最小二乘法

第5次最佳平方逼近与曲线拟合的最小二乘法计算方法(NumericalAnalysis)主要内容•最佳平方逼近•曲线拟合的最小二乘法最佳平方逼近函数逼近的类型•最佳一致逼近：使用多项式对连续函数进行一致逼近。逼近误差使用范数|(x)s-f(x)|max||(x)s-f(x)||bxa度量。•最佳平方逼近：使用多项式s(x)对连续函数f(x)进行平方逼近。逼近误差使用范数dxs(x)]-[f(x)ρ(x)||s(x)-f(x)||2ba22度量。权函数这种度量太强(设权函数为1)||s(x)-f(x)||与||s(x)-f(x)||求别在[0,1]上，分x,1，s(x)设f(x)21|x-1|max||s(x)-f(x)||解：1x0练习：31dxx)(1||s(x)-f(x)||102220.57833||s(x)-f(x)||2b]上的权函数。就称ρ(x)为[a,b]；[a,x0，g(x)则必有0,dxg(x)ρ(x)若g(x),b]上的非负连续函数对于[a,(2);2,1,0,kdx存在,ρ(x)x(1)若b]上的非负函数,,设ρ(x)是区间[a定义4babak权函数的定义…权函数ρ(x)和基函数乘法的积分权函数的非0性质权函数的意义：强化或弱化某部分积分函数值的影响。例如：在[0,5]上，取则积分3xρ(x)dxg(x)x503起到了弱化g(x)在区间[0,1]的函数值，强化g(x)在区间[1,5]的函数值的作用。离散权函数：在学生成绩系统中总分=a*平时分+b*实验分+c*作业分+d*期末分例如，老师录入系数：a=0.1，b=0.2,c=0.1,d=0.6，则{a,b,c,d}即为离散的权函数。则可定义内积：上的权函数,b]ρ(x)为[a,b],C[a,g(x)设f(x),1/2ba2212(x)dxρ(x)ff)(f,||f(x)||f(x)g(x)dxρ(x)g)(f,babaf(x)g(x)dxg)(f,1,当ρ1/2ba22(x)dxf||f(x)||则1，若ρ由内积可以定义范数(度量)：内积的定义：§4最佳平方逼近n次多项式ρ(x)为权函数，若b],C[a,设f(x)dxs(x)]ρ(x)[f(x)mindx(x)]*sρ(x)[f(x)ba2Hs(x)ba2n逼近多项式.b]上的n次最佳平方a,(x)为f(x)在[*则称s满足连续函数的最佳平方多项式逼近nn10xaxaa(x)*s讨论：•最佳平方多项式逼近：采用{1,x,x2,…,xn}作为基函数，由此生成的多项式对f(x)进行平方逼近.}aa{a},,span{Φnn1100n0中的函数对已知的连续函数f(x)进行逼近。作为基函数。(x)},(x),(x),{n10•一般情况下：采用线性无关的连续函数……由此生成的线性空间。上的最佳平方逼近函数(x)为f(x)在Φ*则称sdxs(x)]ρ(x)[f(x)mindx(x)]*sρ(x)[f(x)Φ，满足(x)*在s存ρ(x)为权函数，若b]，C[a,},,span{Φb],C[a,设f(x)ba2Φs(x)ba2n0连续函数的在线性空间最佳平方逼近集合。即为全体n次多项式的}x,,xx,span{1,},,span{则Φx,,xx,1,若取n2n0nn2210【注】…………使得,即求系数a,a(x)*问题归结为求s*jn0jj*j求导，得：对a取得极小值。上式两端kbakbakjn0jj(x)dxρ(x)f(x)dx(x)(x)ρ(x)an0,1,...,k),(f,a),(kjn0jjk为了求极值，设(3.3)0dx]aρ(x)[f(x)2)a,,(aaIkban0jjjn0k…dx]aρ(x)[f(x))a,,I(aba2n0jjjn0…)(f,)a,()a,()a,()(f,)a,()a,()a,()(f,)a,()a,()a,(nnnn11n00n1nn11110010nn0110000展开成方程组形式：)(f,)(f,)(f,aaa),(),(),(),(),(),(),(),(),(n10n10nn1n0nn11101n01000或写成矩阵形式：………………此方程组称为法方程.)(f,)(f,)(f,aaa),(),(),(),(),(),(),(),(),(n10n10nn1n0nn11101n01000(x)a...(x)a(x)a(x)sn*n1*10*0*从而应该是f(x)的最佳平方逼近函数。………………………n)0,1,...,(ka法方程有唯一解a0,故法方程系数行列式G线性无关,,,因*kknn0…计算积分(4.5))(f,a||f(x)||(x)，f(x))(S-f(x))(f(x),||(x)s-f(x)||||δ(x)||n0kk*k2222结论:2)逼近误差公式（证明推导，见下页）：1)是f(x)在集合上的最佳平方逼近函数。证明（略）(x)*sΦ逼近误差公式证明(x))s(x),(sf(x))(x),(s-(x))s(f(x),f(x))(f(x),(x))s-f(x)(x),s-(f(x)||(x)s-f(x)||||δ(x)||22只需证明f(x))(x),(s(x))s(x),(sf(x)),(x)a()(x)a,(x)a(n0kkkn0jjjn0kkkf(x))(x),(a(x))],(x)(a[akn0kkjn0kkn0jjkn0,1,...,k),(f,a),(kjn0jjk根据之前S*(x)存在性证明过程中得到的(3.3)式，即：证明完毕。即：整理上式，得1。)逼近多项式。取ρ(x最佳平方在[0,1]上的一次x1求f(x)例62得法方程x,aa(x)设所求Sx,1,已知解：10*110)(f,)(f,aa),(),(),(),(101011011000)(f,)(f,aa312121110101.14722)2ln(121dxx1)(f,10200.6093122|)x(131dxx1x)(f,1023210210.6091.147aa3121211100.4260.934，aa100.426x0.934(x)S1推导在最后一页PPT得最佳平方逼近多项式为：0.0026dxx10.426x)(0.934dx)x(1(x)，f(x))(S-f(x))(f(x),||δ(x)||:平方误差2101021220.066|0.426x)(0.934x1|max||δ(x)||:最大值误差21212x1y0.426x0.934(x)S1红色同学们自己求一下式。1的最佳平方逼近多项中的关于ρ(x)x}span{1,在Φ在[1/4,1]上的x求f(x)例题得法方程x,aa(x)设所求px,1,已知解：10*11080311271064213215321543aa13588127100aax135882710(x)p*1)(f,)(f,aa),(),(),(),(1010110110001/41x.135882710(x)p*110.371.02xf(x)0.0001082.||δ(x)||:平方误差22。和一个线性函数差不多x1]上，f(x),41观察：在[)(dxx||δ(x):||平方误差135888031127271012241Home曲线拟合的最小二乘法3.4.曲线拟合的最小二乘法若已知f(x)在点xi(i=1,2,…,n)处的值yi,便可根据插值原理来建立插值多项式作为f(x)的近似。但在科学实验和生产实践中，往往会遇到下述情况：1)节点上的函数值是由实验或观测得到的数据，带有测量误差，若要求近似函数曲线通过所有的点(xi,yi)，就会使曲线保留着一切测试误差；3)由实验或观测提供的数据个数往往很多，如果用插值法,势必得到次数较高的插值多项式，计算很烦琐。2)当个别数据的误差较大时，插值效果可能不理想；最小二乘法的思想求一条曲线,使数据点均在离此曲线的上方或下方不远处,所求的曲线称为拟合曲线,它•既能反映数据的总体分布,又不至于出现局部较大的波动；•更能反映被逼近函数的特性,使求得的逼近函数与已知函数从总体上来说其偏差按某种方法度量达到最小。为此，希望从给定的数据(xi,yi)出发,构造一个近似函数,不要求函数完全通过所有的数据点，只要求所得的近似曲线能反映数据的基本趋势，如图3.1所示。(x)(x)图3.1曲线拟合示意图在某种意义上,曲线拟合更有实用价值。y=φ(x)xy在对给出的实验(或观测)数据作曲线拟合时,怎样才算拟合得最好呢？一般希望各实验(或观测)数据与拟合曲线的偏差的平方和最小,这就是最小二乘原理。n,0,1,i),y(xii，两种逼近概念:插值:在节点处函数值相同.拟合:在数据点处误差平方和最小…问题的提出：•函数解析式未知,通过实验观测得到的一组数据,代表f(x)在区间[a,b]上的一系列点的函数值yi=f(xi)，通常由函数表来表达。xx0x1x2…xnyy0y1y2…yny=f(x)要求出一个比较简单的函数(x)y不要求函数完全通过所有的数据点，只要求所得的近似曲线能反映数据的基本趋势。(x)(x)y希望在某种范数下，误差||f||||e||比较小。y=φ(x)很多情况下，y=f(x)的表达式是未知的当使用2范数的时候212n0iii21n0i2i2)f(x)(xεen0i2iin0i2i22)]f(x)(x[ε||e||要求：这种要求误差（偏差）平方和最小的拟合称为曲线拟合的最小二乘法。为最小。设已知数据点分布大致为一条直线。作拟合直线,该直线不是通过所有的数据点,而是使偏差平方和m,2,1,i),y,(xiixaay(x)10)y,(xiim1i2ii1010)yxa(a)a,F(a为最小，其中每组数据与拟合曲线的偏差为ii10iiyxaay)y(xm,1,2,i（1）直线拟合……这是关于a0，a1的连续可导函数即得如下正规方程组m1iiim1i2i1m1ii0m1iim1ii10yxxaxayxama(3.1)根据最小二乘原理，应取和使有极小值，故和应满足下列条件：0a1a)a,F(a100a1a0x)yxa(a2a)a,F(a0)yxa(a2a)a,F(aim1iii10110m1iii10010例3.21设有某实验数据如下：1.361.371.952.2814.09416.84418.47520.963用最小二乘法