计算方法-第三章曲线拟合的最小二乘法20191103-(1)

2021/9/9第三章曲线拟合的最小二乘法1第三章曲线拟合的最小二乘法一、数据拟合的最小二乘法的思想已知离散数据：(xi,yi),i=0,1,2,…,m,假设我们用函数逼近函数f(x)，则两个函数在每一个点xi都会产生一个误差：**()()()iiiiixfxxy.,,2,1,0mi考虑整体误差miim02221202*20[()]miiixy*()x§1曲线拟合与最小二乘法2021/9/9第三章曲线拟合的最小二乘法3应该使2222012*200[()]mmmiiiiiδδδδδφxyL整体达最小（误差的平方和最小）。通过这种度量标准求得拟合曲线的方法，就称作曲线拟合的最小二乘法(最小二乘逼近)。221202m2021/9/9第三章曲线拟合的最小二乘法4二、最小二乘法拟合曲线的步骤第二步：根据图示判断点(xi,yi)所反映的函数类，确定曲线所属的函数类型，例如多项式函数类、三角函数类、指数函数类、对数函数类等。假设所确定的函数类的基函数为第一步：根据如下已知点的坐标，在坐标系里描点miyxii,,2,1,0),,(01{,,,}nHspan则所求的函数可以表示为：*0()()njjjxax只要确定了系数，就可以求出拟合曲线。经验公式2021/9/9第三章曲线拟合的最小二乘法5第三步：对于其整体误差所求的解应该使以上二次函数达到极小，由极值原理应有：22*200[()]mmiiiiixy200[()]mnjjiiijaxy令：20100(,,,)[()]mnnjjiiijaaaaxy0,0,1,2,,kkna2021/9/9第三章曲线拟合的最小二乘法6令miikijkjxx0)()(),(miikikxyf0)(),(则有0(,)(,),0,1,,njkjkjafkn这样就给出了求解方程组：01,,,naaa离散内积2021/9/9第三章曲线拟合的最小二乘法70,00,10,001,01,11,11,0,1,()()()(,)()()()(,)()()()(,)nnnnnnnnafafaf同样称其为法方程组。解法方程组求得***01,,,naaa便得到最小二乘拟合曲线为了便于求解，我们再对法方程组的导出作进一步分析。**0()()njjjxax2021/9/9第三章曲线拟合的最小二乘法8得到法方程组系数矩阵第j行的元素为：miikijkjxx0)()(),()()()()(,),(),(1010mkkkmjjjxxxxxx),(),(),(10njjj)()()()()()()()()()(,),(),(0111100010010mnmnmnnmjjjxxxxxxxxxxxx由),1,0(nk2021/9/9第三章曲线拟合的最小二乘法9于是法方程组的系数矩阵可写为：)()()()()()()()()(101110101000mnnnmmxxxxxxxxx)()()()()()()()()(,1,0,,11,10,11,01,00,0nnnnn)()()()()()()()()(101111000100mnmmnnxxxxxxxxx将右端第二个矩阵记为：2021/9/9第三章曲线拟合的最小二乘法10)()()()()()()()()(101111000100mnmmnnxxxxxxxxxA0,00,10,1,01,11,,0,1,()()()()()()()()()nnTnnnnAA则系数矩阵可以表示为：此外，关于法方程组的右端项（常数项）：2021/9/9第三章曲线拟合的最小二乘法11由),1,0()(),(0nkxyfmiikjkmmkkkyyyxxx1010)(,),(),(得到),(),(),(10nfff)()()()()()()()()(101110101000mnnnmmxxxxxxxxxmyyy10YAT2021/9/9第三章曲线拟合的最小二乘法12最后可以将法方程组表示为：YAACATT其中1,1101111000100)()()()()()()()()(nmmnmmnnxxxxxxxxxAmyyyY1001naaCa这样可以较快写出法方程组来。2021/9/9第三章曲线拟合的最小二乘法13如果所求得最小二乘拟合函数为n次多项式，则：nnxx,,,110nmmnnxxxxxxA1111100nmnnmTxxxxxxA1010111这时：YAACATT01naaCamyyyY10误差：miiimiiimiiyxfyy0202*022])([)(*200[()]mnjjiiijaxy2021/9/9第三章曲线拟合的最小二乘法14例3.1根据如下离散数据拟合曲线并估计误差x1234678y2367532解:step1:描点123456787654321*******step2:从图形可以看出拟合曲线为一条抛物线：2210xcxccystep3:根据基函数给出法方程组§2多项式拟合函数2021/9/9第三章曲线拟合的最小二乘法15nmnnmTxxxxxxA1010111由得到262120610111xxxxxxAT即6449361694187643211111111TATY2357632又求得81471171179117117931179317AATYAT63512128法方程组为：01273117931179117117911718147ccc635121282021/9/9第三章曲线拟合的最小二乘法1601273117931179117117911718147ccc63512128解得：3864.0,4321.3,3185.1210ccc求得拟合二次多项式函数223864.04321.33185.1)(xxxp误差为：60222])([iiiyxp先计算出拟合函数值：得到：0000.32或者：7321.1xi1234678p21.72724.00015.50026.22755.36373.77261.40872021/9/9第三章曲线拟合的最小二乘法17解：在坐标轴描点例3.2根据如下离散数据拟合曲线并估计误差xi-3-2-10123yi4230-1-2-5从离散点的图形上看不出原函数属于哪一类型，一般多采用多项式拟合，在此我们用二次多项式拟合。22102)(xcxccxp2021/9/9第三章曲线拟合的最小二乘法18根据如下离散数据给出法方程组xi-3-2-10123yi4230-1-2-5这时941014932101231111111TATY5210324求得19602802802807AATYAT7391得到法方程组739119602802802807210ccc2021/9/9第三章曲线拟合的最小二乘法19所求二次拟合曲线为2*28411283932)(xxxp拟合曲线的均方偏差为759.1))((602*2iiiyxp012702810280392801927ccc由8411,2839,32210ccc解得：2021/9/9第三章曲线拟合的最小二乘法20例3.3对如下数据作形如y=aebx的拟合曲线解:由于函数集合Φ={aebx|a,b∈R}不是一线性空间，因此直接作拟合曲线是困难的。为了便于计算，在函数y=aebx两端分别取对数得到这时，需要将原函数表进行转换如下令z=lny,A=lna,B=b,则z=A+Bxlny=lna+bxxi12345678yi15.320.527.436.649.165.687.8117.62021/9/9第三章曲线拟合的最小二乘法21xxx)(,1)(10yzln对z=A+Bx作线性拟合曲线，取这时8765432111111111TD20436368DDTTz77.448.418.489.360.331.302.372.214.14798.29zDTxi12345678yi15.320.527.436.649.165.687.8117.6xi12345678zi2.723.023.313.603.894.184.484.772021/9/9第三章曲线拟合的最小二乘法22得正则方程组14.14798.2920436368BA解得29.0,44.2BA29.0,44.11BbeaA于是有xey29.0*44.11拟合曲线为：2021/9/923例3.4利用最小二乘法解下列超定（矛盾）方程组2531252132321321321321xxxxxxxxxxxx解:超定方程组很难得到一组值使得每一个方程都成立。一般情况下用尽量使每一个方程都近似成立的一组值作为超定方程的近似解。这时最小二乘法就可以用于解这类方程。采用最小二乘法，考虑如下的误差函数：独立方程数多于变量数§4矛盾方程组的最小二乘法2021/9/9第三章曲线拟合的最小二乘法242531252132321321321321xxxxxxxxxxxx2321232123212321321)253()1252()13()2(),,(xxxxxxxxxxxxxxxI所求的最小二乘解应该满足3,2,1,0ixIi2021/9/9第三章曲线拟合的最小二乘法252321232123212321321)253()1252()13()2(),,(xxxxxxxxxxxxxxxI同理可得：)319915(2321xxx)13(2)2(23213211xxxxxxxI)253(32)1252(22321321xxxxxx)2369(23212xxxxI)53119(2321