函数逼近及最小二乘法

第三章函数逼近及最小二乘法§1内积空间及函数的范数定义1设)(x是定义在(a,b)上的非负函数，且满足：1）dxxxnba)(存在（n=0,1,2,…）2）对非负的连续函数g(x)，若0)()(dxxxgba则在(a,b)上有g(x)=0，则称)(x为(a,b)上的权函数。定义2设f(x),g(x)为[a,b]上的连续函数，)(x为(a,b)上的权函数，称),(gf=dxxxgxfba)()()(为函数f(x)与g(x)在[a,b]的内积。特别当)(x=1时，上式变为),(gf=dxxgxfba)()(设],[baC表示在区间[a,b]上连续函数的全体，那么定义了内积之后，],[baC就变成了一个内积空间。显然有),(ff=dxxxfba)()(2为一个非负值，因此我们有定义3对],[)(baCxf，称),()(2ffxf为)(xf的欧氏范数（又称2-范数）。其实，我们还经常用到函数的其他范数。比如，)(max)(xfxfbxadxxxfxfba)()()(1n维向量空间中两个向量正交的定义也可以推广到连续内积空间],[baC中.定义4若],[)(),(baCxgxf,满足),(gf=dxxxgxfba)()()(=0则称函数f(x)与g(x)在[a,b]上带权)(x正交.若函数族),(,),(),(10xxxn满足bakkjkjkjAkjdxxxx00)()()(),(则称函数族)(xk是[a,b]上带权)(x的正交函数族.特别地,若1kA,就称之为标准正交函数族.由高等数学的知识，我们知道,Foureir级数展开中函数族1,cosx,sinx,cos2x,sin2x,……即为],[上带权)(x=1的正交函数族.如同线性代数中的向量组线性无关概念一样,在此也有函数组的线性无关概念.定义5设函数组)(,),(),(110xxxn在[a,b]上连续,若0)()()(111100xaxaxann当且仅当0110naaa时成立,则称函数族)(,),(),(110xxxn在[a,b]上是线性无关的.否则称为线性相关函数组。若函数族),(,),(),(10xxxn满足任何有限个)(xk组成的函数组都是线性无关的。则称此函数族为线性无关函数族。例如：1，,,,,2nxxx即为任意区间[a,b]上的线性无关函数族。若)(,),(),(110xxxn在[a,b]上是线性无关的函数组，且110,,,naaa是任意实数，则)()()()(111100xaxaxaxsnn的全体是C[a,b]中的一个子集，记作)}(,),(),({110xxxspann称为由)(,),(),(110xxxn生成的连续函数空间。判断)(,),(),(110xxxn线性无关的条件由下定理给出，定理)(,),(),(110xxxn在[a,b]上线性无关的充要条件为0),(),(),(),(),(),(),(),(),(111101111101101000nnnnnn。§2正交多项式一般地，给定区间[a,b]及权函数)(x后，由1，nxxx,,,2可以用Schmidt正交化方法构造出n次正交多项式，其公式为：1)(0x，)())(),(())(,()(10xxxxxxxjkjjjjkkk（2-1）nk,,2,1这样构造的正交多项式有以下性质：①)(xk是最高项系数为1的k次多项式；②任何k次多项式均可表示为前k+1个多项式)(,),(),(10xxxk的线性组合；③对于lk，有0),(lk，并且k与任一次数小于k的多项式正交。例：给定区间[0,1]及权函数xxxln1ln)(，由1，nxxx,,,2用Schmidt正交化方法构造出前3个正交多项式)(),(),(210xxx。解由公式（2-1）知，1)(0x，)(),(),()(00001xxxx，)(),(),()(0000222xxxx)(),(),(11112xx，其中，11ln),(1000dxx，411ln),(100dxxxx，911ln),(10202dxxxx，由此得41)(1xx14451ln)41(),(10212dxxxxx，14471ln)41(),(10211dxxx得)41(7591)(22xxx=25217752xx。2-1Legendre正交多项式Legendre正交多项式为区间[-1,1]及权函数1)(x时，由1，nxxx,,,2用Schmidt正交化方法构造出的n次正交多项式。它是由Legendre于1785年首先引入的，1814年Rordrigul给出了更简单的表示式，即,1)(0xpnnnnnxdxdnxp)1(!21)(2,2,1n（2-2）易见，)(xpn的最高次项的系数与nnnnxdxdn2!21的系数是相同的，所以)(xpn的最高次项，nx的系数为2)!(2)!2(nnn，从而得到最高次项系数为1的Legendre正交多项式为nnnnxdxdnnxp)1()!2(!)(~2（2-3）以下是Legendre正交多项式的几个重要性质：性质1正交性111220)()(nmnnmdxxpxpmn（2-4）证明令nxx)1()(2，显然0)1()(k)10(nk设)(xQ是[-1,1]上n阶连续可导函数，由分部积分11)()(dxxQxpn11)()()(!21dxxxQnnn11)1()()(!21dxxxQnnn11)()()(!2)1(dxxxQnnnn若)(xQ是次数小于n的单项式时，0)()(xQn，故得11,0)()(dxxpxpmn当nm时。若)()(xpxQn)(!21)(xnnnnnxnn2)!(2)!2(则)()()()(xpxQnnn!2)!2(nnn112)(dxxpn22)!(2)!2()1(nnnn112)1(dxxn22)!(2)!2(nnn112)1(dxxn22)!(2)!2(2nnn102)1(dxxn又102)1(dxxn)12(31)2(42nn代入上式得112)(dxxpn122n，得证。性质2奇偶性)()1()(xpxpnnn证明由于nx)1(2为偶函数，n为偶数时，相当于偶函数求偶次导数，结果仍为偶函数。n为奇数时，相当于偶函数求奇次导数，结果为奇函数。性质3递推关系,1)(0xp,)(1xxp)()()12()()1(11xnpxxpnxpnnnn1n（2-5）证明由于)(xxpn为一个n+1次多项式，所以它可以表示成)()()()(111100xpaxpaxpaxxpnnn（2-5）两边乘以)(xpk，并在[-1，1]上积分，再由正交性知11211)()()(dxxpadxxpxxpkkkn（2-6）当2nk时，)(xxpk为一个次数小于等于n-1的多项式，)(xxpk为)(,),(),(110xpxpxpn的线性组合，)(xpn与它们正交，所以（2-6）式左端等于0，得0ka，2,,2,1,0nk当nk时，（2-6）式中)()()(2xxpxpxxpnkn为奇函数，（2-6）式左端等于0，∴0na。由以上讨论知（2-5）式变为)()()(1111xpaxpaxxpnnnnn（2-7）比较（2-7）两端1nx的系数，得1211nnan，在（2-7）式中取x=1，并注意到Legendre正交多项式)(xpn满足1)1(np（),2,1,0n得到111nnaa，∴121nnan。得证。性质4)(xpn在[-1，1]内有n个不同的零点。性质5在[-1,1]区间上，所有最高项系数为1的n次多项式中，Legendre正交多项式nnnnxdxdnnxp)1()!2(!)(~2的欧氏范数（2-范数）最小。即2)(2)(min)(~xqxpJxqn。其中J={最高项系数为1的n次多项式}。2-2Chebyshev正交多项式Chebyshev正交多项式为区间[-1,1]及权函数211)(xx时，由1，nxxx,,,2用Schmidt正交化方法构造出的n次正交多项式。其表达式为)arccoscos()(xnxTn1x（2-8）若令cosx，则有nxTncos)(],0[Chebyshev正交多项式有如下性质：性质1)(xTn有以下递推关系,1)(0xT,)(1xxT)()(2)(11xTxxTxTnnn（2-9）证明∵)1cos(ncoscosnsinsinn)1cos(ncoscosnsinsinn两式相加，得)1cos(ncoscos2n)1cos(n，并由cosx及nxTncos)(得证。性质2)(xTn的最高项系数为12n。证明由（2-9）式，比较最高次项系数知，nnaa21，又有11a，得证。性质3正交性00201)()(112nmnmnmdxxxTxTmn证明做变换cosx得0020coscos1)()(0112nmnmnmdnmdxxxTxTmn（2-10）性质4奇偶性)()1()(xTxTnnn。即n为奇数时，)(xTn为奇函数；n为偶数时，)(xTn为偶函数。证明由递推公式直接得证。性质5)(xTn在[-1,1]上有n个实零点nkxk212cos，（nk,,2,1），并有n+1个点nkxkcos*（nk,,2,1,0）轮流取最大值1和最小值-1。证明由)(xTn的表示式得证。性质6在[-1,1]上所有最高项系数为1的一切n次多项式中，)(211xTnn的-范数最小，且有1121)(21nnnxT。（2-11）证明由性质5知（2-11）成立。下证)(211xTnn的-范数最小。用反证法，假设存在某一最高项系数为1的n次多项式)(xQn)(211xTnn，满足11121)(max)(nnxnxQxQ，令)()(21)(1xQxTxnnn（2-12）则由于)(211xTnn和)(xQn均为n次多项式，∴)(x为次数不超过n-1次的多项式，因为nkxkcos*（nk,,2,1,0）使)(xTn轮流取最大值1和最小值-1，所以有)(2)1()(*1*knnkkxQx（nk,,2,1,0）由假设知，1*21)(nknxQ，从而知)(x在n+1个点上轮流取正负值，由Rolle定理知，)(x至少有n个零点。所以)(x=0。与假设矛盾。这一性质的等价性叙述为：对于[-1，1]上的函数nxxf)(，在所有次数不超过n-1次的多项式中，)(21)(1xTxxynnn是使得)()(max11xyxfx达到最小的解。§3函数逼近函数逼近问题的一般提法：对函数类A中给定的函数)(xf，要求在另一类较简单的便于计算的函数类B中，求函数)(xp，使)(xp与)(xf在某种度量意义下达最小。最常用的两种度量意义是（1）)()(max)()(xpxfxpxfbxa在这种度量意义下的逼近称为一致（均匀）逼近。（2）badxxpxfxpxf22)]()(