第六章函数逼近

第六章函数逼近第一节曲线拟合的最小二乘法问题的背景通过观测、测量或试验得到某一函数在x1,x2,…,xn的函数值.我们可以用插值的方法对这一函数进行近似,而插值方法要求所得到的插值多项式经过已知的这n个插值结点;在n比较大的情况下,插值多项式往往是高次多项式,这也就容易出现振荡现象:虽然在插值结点上没有误差,但在插值结点之外插值误差变得很,从“整体”上看,插值逼近效果将变得“很差”.于是,我们采用数据拟合的方法.定义1数据拟合就是求一个简单的函数φ(x),例如是一个低次多项式,不要求通过已知的这n个点，而是要求在整体上“尽量好”的逼近原函数,这时在每个已知点上就会有误差yk-φ(xk),(k=1,2,…,n),数据拟合就是从整体上使误差yk-φ(xk),(k=1,2,…,n),尽量的小一些.如果要求:达到最小,因误差yk-φ(xk)可正可负本来很大的误差可能会正负抵消,这样的提法不合理,为防止正负抵消,可以要求:达到最小,但是由于绝对值函数不可以求导,分析起来不方便,求解也很难.为了既能防止正负抵消，又能便于我们分析、求解，提出如下问题：求一个低次多项式φ(x),使得:达到最小,此问题便是一个数据拟合的最小二乘问题.一、直线拟合(一次函数)通过观测、测量或试验得到某一函数在x1,x2,…,xn的函数值：y1,y2,…,yn,即得到n组数据(x1,y1),(x2,y2),…,(xn,yn),如果这些数据在直角坐标系中近似地分布在一条直线上,我们可以用直线拟合的方法.已知数据(x1,y1),(x2,y2),…,(xn,yn),求一次多项式φ(x)=a+bx(实际上，就是求a,b),使得:（1）达到最小.注意到Q(a,b)中,xk,yk均是已知的,而a,b是未知量,Q(a,b)是未知量a,b的二元函数,利用高等数学求二元函数极小值(最小值)的方法，上述问题转化为求解下列方程组:的解.由得因为得到如下的正则方程组:(3)这是个关于a,b的二元一次方程组,称其为最小二乘问题的正则方程组解得a,b,便得到最小二乘问题的拟合函数.例1已知10对数据如下表,利用最小二乘法求拟合曲线y=a+bx.解：先列表来计算四个形成所谓正则方程组:解得a=6.4383，b=-0.7877于是，最小二乘拟合一次函数为y=6.4383-0.7877x二、多项式拟合已知一组数据对(xi,yi),(i=1,2,…,n),求一个m次多项式(mn-1):Pm(x)=a0+a1x+…+amxm,使得误差的平方和达到最小.即求待定参数a0,a1,…,am使得(4)达到最小.如果m=n-1,过这n个点可以决定一个n-1次多项式,此时说明:Pm(x)正好可以过这n个点,Q=0时达到最小，这就成为一个插值问题.如果mn-1,此时过这n个点的m次多项式不仅存在,而且有无穷多个,解是不确定的.因而,对于拟合问题，一般总是针对大量的数据对而选用低次多项式.类似直线拟合方法，可找a0,a1,…,am满足的所谓正则方程组,令整理得到下面的正则方程组(法方程组)：这是一个m+1阶的线性方程组.例如m=2,法方程组为这是一个三元一次方程组.例2给定数据如下表,求最小二乘拟合多项式P2(x).解：设P2(x)=a0+a1x+a2x2，列表计算:于是，法方程组为:解得故所求的二次多项式为：y=-1.7143+3.8690x-0.4881x2三、指数拟合和一些非线性拟合有些数据(xk,yk),(k=1,2,…,n),在直角坐标系中的分布近似于指数曲线,则可以用指数函数进行拟合.已知一组数据对(xk,yk),(i=1,2,…,n),求一个指数函数y=beax,使得误差的平方和:(6)达到最小.指数函数y=beax,两边取对数,得:lny=lnb+ax,作变换y*=lny,得y*=lnb+ax这是一个一次函数,lnb和a是待定系数.指数拟合的具体步骤:(1)我们可以将数据对(xk,yk)转化为数据对(xk,lnyk);(2)用最小二乘法求出拟合曲线y*=a0+a1x(即解出a0,a1);(3)由lnb=a0=m,故b=em,而a=a1,从而得到拟合的指数函数y=beax例3设一个发射源的发射公式为I=I0e-αt,通过实验得如下数据:利用最小二乘法确定I0和α.解lnI=lnI0-αt*,设I=a0+a1t,将数据对(tk,Ik)转化为数据对:(tk,lnIk),然后进行直线拟合.于是得到法方程组：解得m=a0=1.728288,a1=-2.888282,则α=-a1=2.89,由lnI0=a0,I0=em=5.631006于是得到拟合指数函数I=5.63e-2.89t.其它一些非线性拟合(1)双曲线(2)对数函数(3)S型曲线(1)双曲线先变形为:令得到:y*=a+bx*我们可以将数据对(xk,yk)转化为数据对然后进行直线拟合.(2)对数函数y=a+blnx*令x=lnx,变形为y=a+bx*(3)S型曲线先变形为,令,x*=e-x,得到y*=a+bx*.四、函数逼近的相关概念1.函数空间定义1设集合S是数域P上的线性空间，元素x1,x2,…,xn∈S,如果存在不全为零的数a1,a2,…,an∈P,使得a1x1+a2x2+…+anxn=0(7)称x1,x2,…,xn线性相关，否则，称x1,x2,…,xn线性无相关。如果x1,x2,…,xn线性无关，它们可生成S的n维线性子空间span{x1,x2,…,xn}={x|x=a1x1+a2x2+…+anxn,a∈P,i=1,2,…,n}函数f(x)的n次多项式逼近就是在多项式空间span{1,x,…,xn}中找出元素P(x)=a0+a1x+…+anxn与f(x)“最接近”.函数的多项式逼近有下面的重要定理.定理(Weierstrass)1设f(x)∈C[a,b],对任意ε0,总存在一个代数多项式P(x),使得‖f(x)-P(x)‖ε在[a,b]上一致成立。2.范数与赋范线性空间定义2设集合S是线性空间，x∈S,如果存在函数ρ(x),满足1)ρ(x)≥0,且ρ(x)=0==x=0(正定性)2)ρ(αx)=|α|ρ(x),α∈R(齐次性)3)ρ(x+y)≤ρ(x)+ρ(y),x,y∈S(三角不等式)则称ρ(x)为线性空间上的范数，通常记作‖·‖,即‖x‖=ρ(x).范数S与‖·‖一起称为赋范线性空间,记作X.赋范线性空间向量范数见第二章第五节，主要有:对x=(x1,x2,…,xn)a.向量的∞-范数(最大范数)：b.向量的1-范数：c.向量的2-范数：类似地对连续函数空间C[a,b],若f∈C[a,b]，可定义三种范数a.向量的∞-范数(最大范数)：b.向量的1-范数：c.向量的2-范数：3.内积与内积空间定义3设X是数域K(R或C)上的线性空间，对u,v∈X,由K中一个数与之对应,记为(u,v),它满足一下条件则称(u,v)为X上u与v的内积.定义了内积的线性空间称为内积空间.如果(u,v)=0,则称u与v正交.定理2设X为内积空间，对u,v∈X，有称为Cauchy-Schwarz不等式.证明对任一数λ∈K(u+λv,u+λv)=(u,u)+2(u,v)λ+(v,v)λ2≥0由一元二次方程根的判别定理可知定理的结论成立.定理3设X为内积空间，u1,u2,…,un∈X，矩阵称为(Gram)矩阵，则G为奇异的充分条件是，u1,u2,…,un线性无关.证明首先指出，定理中奇异可改成正定.对α=(α1,α2,…,αn)≠0，由以及线性代数的理论可知，定理的结论成立.最常见的内积有，1)对x,y∈Cn,x=(x1,x2,…,xn),y=(y1,y2,…,yn)2)对f(x),g(x)∈C[a,b],上面的两种内即可推广到所谓带权的内积，即称为权系数;称为权函数.一般对ρ(x)有如下要求四、线性最小二乘法的一般形式一般地,设给定数据组(xi,yi)(i=1,2,…,n),φ1(x),…,φn(x)为已知的一组[a,b]上线性无关的函数，选取近似函数为：φ(x)=a0φ0(x)+a1φ1(x)+…+amφm(x)使得：其中ωi0(i=1,2,…,n)为权函数，H为φ0(x),φ1(x),…,φm(x)的线性组合的全体，这就是线性最小二乘法的一般形式.与多项式拟合的讨论相类似，上述问题的正则方程组为：即：(9)如果引入内积:方程组(9)可表示成矩阵形式：(10)定理4设a0,a1,…,am为方程组(9)的解，则函数满足关系式(8),即它是数据组(xi,yi)(i=1,2,…,n)的最小二乘解.证明(略)定义4称满足的函数族φ0(x),φ1(x),…,φm(x)为以{ωi}(i=1,2,…,n)为权关于点集{x1,x2,…,xn}的正交函数族.容易推出下列多项式系：是以{ωi}(i=1,2,…,n)为权关于点集{x1,x2,…,xn}的正交函数族.其中于是，求数据组(xi,yi)(i=1,2,...,n)带权{ωi}(i=1,2,…,n)的最小二乘拟和多项式可按以下过程进行.(1)按式(12),(13)构造正交函数族φ0(x),φ1(x),…,φm(x)(2)求出正则方程组(9)的解：(3)写出最小二乘m次拟合多项式：