高等数值分析(曲线拟合)

高等数值分析——曲线拟合XXX2012.11.27主要内容拟合的基本概念和最小二乘原理解线性超定方程组最小二乘拟合问题的一般解法线性组合模型下最小二乘拟合的一般解法常用的线性组合模型的最小二乘解广义最小二乘拟合问题为了测定两个变量x和y之间的函数关系，可以通过实验得到一系列离散的数据点，然而这些数据点可能存在一定的观察误差。如何利用这些带误差的数据点得到变量之间的函数关系呢？iiyx,拟合的基本概念和最小二乘原理x把数据点在坐标图上描出，得到散点图由于数据量大，高次插值会引起严重误差，分段插值则会使函数非常复杂，并且保留了原始数据的误差。利用线性函数拟合插值观察到x和y之间大致呈线性关系我们不要求逼近函数通过所有数据点，而是希望逼近函数的形式相对简单，并且与各数据点的偏差在某种标准下最小化，这就是拟合。插值与拟合这两类函数逼近方法的比较插值拟合适用条件①给定一系列原始数据点②原始数据一般比较精确③数据量少①给定一系列原始数据点②原始数据一般带有一定的误差③数据量较大逼近函数①常常采用多项式作为插值函数②当数据点较多时，采用单个高次多项式进行插值会引起龙格现象，产生震荡，因此需要采用分段、样条等插值方法，此时插值函数是一个分段函数。可以根据实践者的经验知识和实际应用需要，选择简单、合适的函数类型进行拟合。拟合函数可以是多项式、三角函数、指数函数等各种不同形式。特点插值函数y=φ(x)必须通过所有插值点，即对任意，有不要求拟合函数y=p(x)一定通过数据点，而要求p(x)能反映数据点的变化趋势，即偏差在某种度量标准(如最小二乘标准)下最小图标iiyx,)(iixyiiiyxpr)(iiyx,iiyx,评价拟合函数数y=p(x)与原始数据之间的偏差情况（如下图）通常有以下几种方法：(1)使拟合函数与各个原始数据的偏差的绝对值的最大值最小化，即最小化的值。其中为原始数据。这实际上对应于向量的∞-范数Tmrrr),,(10，r|)(|max||max00iimiimiyxpriiyx,(2)使拟合函数与各个数据的偏差的绝对值之和最小化，即最小化的值。这实际上对应于向量r的1-范数。miiimiiyxpr00|)(|||(3)使拟合函数与各个数据的偏差的平方和最小化，即最小化的值。这实际上对应于向量r的2-范数的平方。miiimiiyxpr0202])([定义1最小二乘拟合问题给定数据点选择合适的函数类型Ф，求该函数类型中的一个函数，使得p(x)在各个数据点上的偏差的平方和最小化，即,,,,,,,1100mmyxyxyx)(xpiiiyxpr)(miir02min这个最小化问题即为最小二乘拟合问题，拟合函数p(x)称为上述实验数据的最小二乘解，求拟合函数p(x)的过程则称为曲线拟合的最小二乘法。例1、已知气压存在随着海拔高度的上升而下降的关系，表1给出了在某地粗略测得的不同海拔高度时的气压值。利用这些数据，试寻找气压与海拔高度之间的所满足的大致关系。表1气压与海拔高度关系表解:(1)取海拔高度为自变量x，气压为因变量y，根据表1所给的40个数据点做出如图1所示的散点图，观察x与y之间的分布规律。图1气压与海拔高度散点图设y=ax+b,把40个数据点代入，得到方程组0a+b=1011.520a+b=1011……780a+b=949.9根据最小二乘原理，把问题转换为最小化问题，使拟合函数与数据点的偏差的平方和最小化，即39039022)(iiiiiybaxr(2)从散点图可以看出y与x大致成线性关系，不妨设拟合函数为y=ax+b。转换2个未知数，40个方程，无解！！这个问题就可解了！这类方程个数大于未知数个数的方程组称为超定方程组，一般来说是无解的。(3)解函数的最小化问题。根据微积分中求极值的原理，对求最小值，相当于分别对a，b求偏导数，其值都为0，得到以下方程组3902)(),(iiiybaxbaI0)(20)(2390390iiiiiiiybaxbIybaxxaI这个方程组称为上述拟合问题的正规方程组。解这个方程组得到a=-0.0772491,b=1010.87。因此，所求的拟合函数为y=-0.0772491x+1010.87(4)观察拟合函数对原始数据的拟合情况，决定拟合结果能否被接受。本例中的拟合函数如下图2所示。可以看到，该拟合函数能大致反映原始数据点的变化趋势。图2拟合函数图示通过上述例子可以看到，给定一组带有误差的实验数据，采用最小二乘原理，对数据进行拟合的基本步骤包括：步骤①：作散点图，观察实验数据的一般趋势，选择合适的拟合函数类型。步骤④：观察拟合函数对数据的拟合效果，如果拟合效果不理想，则选择新的拟合函数类型，按照上述过程重新拟合。步骤③：根据拟合函数的类型，选择合适的方法，求最小二乘解。步骤②：根据最小二乘拟合原理，把问题转换为使拟合函数与原始数据之间偏差的平方和最小的问题。解线性超定方程组方程个数大于未知数个数的方程组称为超定方程组。一般而言，超定方程组是无解的（这时也称为矛盾方程组），因此，需要用最小二乘原理来求出超定方程组的最小二乘解。不妨设线性超定方程组为mnmnmmnnnnbxaxaxabxaxaxabxaxaxa22112222212111212111其中有mn。记nmmnmmnnxxxxbbbbaaaaaaaaaA2111112222111211,,则超定方程组可以写成Ax=b的矩阵形式。由于上述超定方程组Ax=b在一般情况下无解，因此需要寻找最小二乘解，也就是要找到一组使得最小化。用矩阵的形式来描述，就是要使即向量Ax-b的2-范数的平方最小化。,,,,21nxxxminjijijnbxaxxxI12121)(),,,(22bAx为了得到线性超定方程组的最小二乘解，有如下定理：定理1：x*是超定方程组Ax=b的最小二乘解的充分必要条件是x*是方程组的解。bAAxATT定理1：x*是超定方程组Ax=b的最小二乘解的充分必要条件是x*是方程组的解。bAAxATT证明：先证明充分性。记(x,y)为向量x和y的内积。根据向量内积及2-范数的定义，可知设x*是方程组的解，并设是任意一个n维向量，则有),(||||22xxxbAAxATTx~222222||)~(||||~||||~||bAxxxAbAxAxxAbxA))~(,)~((bAxxxAbAxxxA),()),~((2))~(),~((bAxbAxbAxxxAxxAxxA　　)()~(2||||||)~(||)()~(2||||||)~(||)())~((2||||||)~(||222222222222bAAxAxxbAxxxAbAxAxxbAxxxAbAxxxAbAxxxATTTTTT又因为x*是方程组的解，所以代入上式得bAAxATT0bAAxATT22222222||||||||||)~(||||~||bAxbAxxxAbxA也就是说，对任意n维向量，都有，所以x*是该超定方程组的最小二乘解。x~2222||||||~||bAxbxA证明：下面证明必要性。定理1：x*是超定方程组Ax=b的最小二乘解的充分必要条件是x*是方程组的解。bAAxATT若向量是超定方程组Ax=b的最小二乘解，则有),,,(21nxxx　　，nkabxaxImiiknjijijk,,2,10)(211求线性超定方程组最小二乘解的基本方法：求超定方程组Ax=b的最小二乘解求方程组的解bAAxATTminjijijnbxaxxxI12121)(),,,(达到最小值。根据多元函数求极值的条件，对各个变量的偏导数值为0，即　　，nkbaxaamiiiknjjmiijik,,2,1)(111改写得bAAxATT根据线性代数中的矩阵相乘法则，上面的式子就对应于定理证毕！例2、已知超定方程组求出其最小二乘解。1032425212121xxxxxx　解：方程组的系数矩阵和右端项为1045,322111bA　　104532121132211132121121　　　　xx解方程组得，即该超定方程组的最小二乘解是1,31921xx　1,31921xx　有定理1可知，求超定方程组的最小二乘解对应于解下面的方程组43291499621xx　即最小二乘拟合问题的一般解法为了便于讨论，不妨假设离散最小二乘拟合问题的原始数据是，，拟合函数类型为Φ，对任意函数φ∈Φ，有如下形式其中，x是函数的变量，是函数中的待定系数。Φ所能表达的拟合函数类型是多种多样的，例如：(1)多项式函数：(2)三角函数：(3)对数函数：(4)指数函数：(5)双曲函数：00,yx),(,),,(11mmyxyxnnxcxccy10xccxccy3210cossinxcxcececy3120xccy211xccyln10),,,,(10ncccxynccc,,,10最小二乘拟合问题的求解目标就是确定待定系数的值，得到拟合函数，简记为p(x)，使的值最小化。nccc,,,10),,,,(10ncccxpmiiinyxpcccI0210)(),,,(一、线性组合模型下最小二乘拟合的一般解法下面分别从“利用偏导数求多元函数极值”以及“求线性超定方程组的最小二乘解”这两种思路出发，探索线性组合模型下最小二乘拟合的一般解法。给定n+1个关于x的线性无关的连续函数，拟合函数p(x)是由的线性组合所构成，即这类函数称为广义多项式，以这种类型的函数作为拟合函数的最小二乘拟合问题称为线性组合模型的最小二乘拟合，函数称为该线性组合模型的基函数。线性组合的函数类型在实践中很常见，多项式函数和对数函数等都属于这一类。)(,),(),(10xxxn)(,),(),(10xxxn)()()()(1100xcxcxcxpynnnnxcxccy10xccyln10)(,),(),(10xxxn1、基于偏导数求多元函数极值的方法线性模型的最小二乘拟合问题可以转化为使函数最小化的问题。对于任意待定系数，上式都是一个关于的线性函数。因此，根据求多元函数极值的原理，可以对上式的各个待定系数分别求偏导数，使其值均为0，从而得到以为未知数的方程组miiinniinyxcxcxccccI02110010)()()(),,,(kckcnccc,,,10kcmiiinniiinnmiiinniiimiiinniiiyxcxcxcxcIyxcxcxcxcIyxcxcxcxcI01100011001101100000])()()()[(20])()()()[(20])()()()[(2化简并移项得mimiiininniiniinmimiiiininiiimimiiiininiiiyxxcxxcxxcyxxxcxcxxcyxxxcxxcxc00211000011211010000