第7章曲线拟合与线性最小二乘问题.

§1线性最小二乘问题一、最小二乘问题的一般提法ix()ifx1x1f2x2fmxmf在实际应用中，经常遇到下列数据处理问题：已知函数在m个点上的数据表，寻求其近似函数。()fx1122()()()()nnFxxxx设的近似函数为()fx其中是某函数族中的已知线性无关函数。1{()}niix第七章曲线拟合与线性最小二乘问题/*CurveFittingandLinearLeastSquareProblem*/称为残向量寻求一组常数，要求12(,,)iin111222()()()()()()mmmrfxFxrfxFxrrfxFx的2-范数达到最小。2minr如果m=n，且以及0r即多项式插值1()iixx11()xA21()x1()nx12()x22()x2()nx1()mx2()mx()nmx记1fb2fmf12(,,,)Tnx则得到最小二乘问题：2222minmnrbAxAR上述问题的解也称为方程组的最小二乘解Axb当时称之为超定（或矛盾）方程组。mn所谓”曲线拟合”,是指根据给定的数据表,寻找一个简单的表达式来”拟合”该组数据,此处的”拟合”的含义为:不要求该表达式对应的近似曲线完全通过所有的数据点,只要求该近似曲线能够反映数据的基本变化趋势.二、最小二乘多项式拟合引例1：考察某种纤维的强度与其拉伸倍数的关系.下表是实际测定的24个纤维样品的强度与相应的拉伸倍数的数据记录:编号拉伸倍数强度编号拉伸倍数强度11.91.41355.5221.3145.2532.11.81565.542.52.5166.36.452.72.8176.5662.72.5187.15.373.531986.583.52.72087944218.98.51043.52298114.54.2239.58.1124.63.524108.1ixiyixiy1234567891012345678912345678910123456789可以看出,纤维强度随拉伸倍数增加而增加并且24个点大致分布在一条直线附近y(x)axb该直线称为这一问题的数学模型。因此可认为强度与拉伸倍数之间的主要关系是线性关系怎样确定a,b,使得直线能较好地反映所给数据的基本“变化趋势”?1234567891012345678912345678910123456789kkyaxb一般情况kkaxby各点误差1mkkkaxby总误差21mkkkSa,baxby令问题转化为求参数使达到最小值。Sa,ba,b120miiiiaxbyx120miiiaxby11mmiiiiaxmby2111mmmiiiiiiiaxbxxy这种求线性函数y=a+bx的过程称为线性拟合。21mkkkSa,baxby0SSab829611275127524...ab..1131731601505b.08587a.(x)..x01505085872012()nnpxaaxaxax一般地，设的近似函数为()fx寻求，使得012,,,,naaaa20121,,,,()minmnkkkSaaaapxy则称为函数的多项式拟合。()fx()px满足下列法方程组：012,,,,naaaa011,0,1,2,,nmmjllijiijiixaxyln非线性拟合（补充）已知函数在若干个点上的数据表，确定参数和()fxbxyae，利用经验函数拟合某组数据：ab某些非线性拟合问题可转化为线性拟合问题lnlnbxyaeyabx线性化处理：令ln;lnyyaa则yabxiyix1x1lnf2x2lnfmxlnmf由线性拟合方法可得到和，从而的到和abab21cxyaxbx又如：若非线性函数取为2111cxabxyaxbxycxcc令11yabxcyx1;;ababcccc其中1yabxcx11();x2();xx31()xx三、最小二乘问题解的存在性、唯一性1Def设，若存在精确地满足mnARnxRAxb，则称该方程组是相容的。711..ThAxb方程组相容的充要条件是()([,])rankArankAb证明：()([,])rankArankAbAxb如果相容，则满足nxRAxb即是的列的线性组合bA则必是的列的线性组合：反之，bA1niiibka12(,,,)Tnxkkk即是方程组的解。AxbAFG引理7.1.10()rankAr设，且mnAR,mrFR则总存在分解其中,()()rnGRrankFrankGr满秩分解证明：记12[,,,]nAaaa不妨假设的前列线性无关Ar12,,,raaa112212;,,,jjjrjraaaajn令1212[,,,];[,,,]rnFaaaGggg其中1212[,,,](,,,)Tjjjrjgjn12;,,,jjaFgjn1212[,,,][,,,]nnAaaaFgFgFg12[,,,]nFgggFG(满秩分解)对任何秩为的矩阵，存在排列阵，使得的前列线性无关，从而由知：rPAPr11APFG1,mrFR其中111,()()rnGRrankFrankGr111AFGPFG1,FF其中11,()()GGPrankFrankGr因此，对任何阶矩阵总存在满秩分解mn712..ThnR二乘解的充要条件是为方程组的解。;mnAxbAR是方程组的最小TTAAxAb证明：充分性设是的解TTAAxAb对，nyR令yz22Ayb22()Azb22222()TAbAzAbAz2222AbAz22222()TTAbAzzAAb22(,)xxx22Ab必要性12[,,,]Tn设是方程组的最小二乘解记rAxb则必使达到极小22r由极值的必要条件知：22r022012;,,,irinx即22211(())mnkjjkkjiiraxbxx112()mnkikjjkkjaaxb2()TAAxb0()TAAb称为方程组的法方程组TTAAxAbAxb推论7.1.1若，则方程组有唯一()rankAnnm的最小二乘解:1()TTAAAb713..Th;mnAxbAR方程组必存在最小二乘解。证明：记0()rankAr则存在满秩分解AFG法方程组可写成：TTTTGFFGxGFb可以验证11()()TTTTxGGGFFFb是法方程组的一个解，故是原方程组的一个最小二乘解推论7.1.2若，则方程组rankArn有无穷多个最小二乘解。Axb2Def方程组的所有最小二乘解中2-范数最小Axb者称为方程组的极小最小二乘解。714..ThAxb方程组存在唯一的极小最小二乘解,且可以表示为11()()TTTTxGGGFFFb其中为满秩分解AFG证明：由定理7.3知，是一个最小二乘解x设是方程组的任一最小二乘解，下证：22x0()TAAx0()TTGFFGx0()TTGGFFGx0()GxTTAAAbTTAAxAb2222()xx22222(,)xxxx2222xx22x0唯一性易证例1：求下列方程组的最小二乘解111x2x3x42360112344471解：34()(,)rankArankAbTAA212327703838234343TAb264928757887697xG-S法或平方根法解：例2：求一个形如(为常数)的经验公式，使它能和下表给出的数据相拟合:byax(,)abx2.22.63.44.0y65615450对两边取对数得byaxlnlnlnyabxln,ln,lnYyXxca令YcbX0.78850.95551.22381.38634.17444.11093.98903.9120iXiY此时12()1,()xxX写出法方程组TTAAxAb其中1121122213231424()()()()()()()()XXXXAXXXX10.788510.955511.223811.383612344.17444.11093.98903.9120YYbYY4.04.351416.18634.35144.946717.5139cb4.52860.4431cb92.6247,0.4431caeb§2广义逆矩阵与最小二乘解/*GeneralizedInverseMatrixandLeastSquaresSolution*/一、广义逆的定义广义逆矩阵是通常意义下的逆矩阵的推广1234()()()()()()HHAXAAPXAXXPAXAXPXAXAP之为Penrose方程方程（P1–P4)称设，满足下列矩阵方程组的解，mnACXA称为矩阵的Moore-Penrose广义逆矩阵,记作A3Def721..ThmnAC设，则方程组（P1–P4)有唯一解。首先证明解的存在性：()()HHHHFAGFFGG证明：记0()rankAr则存在满秩分解和非奇异矩阵AFG111()()()HHHHFAGGGFF令1()HHHHXGFAGF11()()HHHHGGGFFF易验证它满足方程（P1–P4)，故存在性得证其次证明解的唯一性：设存在两个阶矩阵和满足（P1–P4)，则nmXY()HXXAXXAXHHXXAHHHHXXAYA()HHXXAYA()()HHXAXAYXAXAYXAY()()HXAYAY()()HHXAYAY()HYAXAY()HYAYYAYY唯一性得证11()()HHHHAGGGFFFM–P广义逆()()TTAXAAXAXXAXAXXAXA若，则Penrose方程变为mnAR若m=n，且非奇异，则A1AA11()()TTTTAGGGFFFAxb方程组的解xAb定理7.2.2二、广义逆的分类4Def仅满足第（Pi)个方程的阶矩阵，称nmX为矩阵的广义逆；记作Ai()iXA仅满足（Pi)和（Pj)个方程的阶矩阵，称为nmX矩阵的广义逆；记作A,ij(,)ijXA仅满足（Pi)、（Pj)和（Pk)个方程的阶矩阵nmX，称为矩阵的广义逆；记作A,,ijk(,,)ijkXA广义逆矩阵共有种1234444415CCCC三、广义逆矩阵的性质A723..ThmnAC的广义逆矩阵具有下列性质：A();()();()()HHTTAAAAAAAFG()()HHAXAAXAXXAXAXXAXA()A根据定义，满足下列是方程的解11()()HHHHAGGGFFF将代入易验证成立XA()()()()rankArankArankAArankAA()();()()HHHHAAAAAAAA();()HHHHAAAAAAAAAAAA若列满秩，则A1();HHAAAA若行满秩