最小二乘法

线性最小二乘的基本公式考虑超定方程组（超定指未知数少于方程个数）：其中m代表有m个等式，n代表有n个未知数，mn；将其进行向量化后为：，，显然该方程组一般而言没有解，所以为了选取最合适的让该等式尽量成立，引入残差平方和函数S（在统计学中，残差平方和函数可以看成n倍的均方误差MSE）当时，取最小值，记作：通过对进行微分[2]求最值，可以得到：如果矩阵非奇异则有唯一解[3]：原理在我们研究两个变量（x,y）之间的相互关系时，通常可以得到一系列成对的数据（x1,y1.x2,y2...xm,ym）；将这些数据描绘在x-y直角坐标系中，若发现这些点在一条直线附近，可以令这条直线方程如（式1-1）。（式1-1）其中：a0、a1是任意实数为建立这直线方程就要确定a0和a1，应用《最小二乘法原理》，将实测值Yi与利用计算值Yj（Yj=a0+a1X）（式1-1）的离差（Yi-Yj）的平方和最小为“优化判据”。令：φ=（式1-2)把（式1-1）代入（式1-2）中得：φ=（式1-3)当最小时，可用函数φ对a0、a1求偏导数，令这两个偏导数等于零。∑2(a0+a1*Xi-Yi）=0（式1-4)∑2Xi（a0+a1*Xi-Yi）=0（式1-5)亦即：na0+（∑Xi)a1=∑Yi（式1-6)（∑Xi)a0+（∑Xi^2)a1=∑（Xi*Yi)（式1-7)得到的两个关于a0、a1为未知数的两个方程组，解这两个方程组得出：a0=（∑Yi)/n-a1（∑Xi)/n（式1-8)a1=[n∑(XiYi)-（∑Xi∑Yi)]/(n∑Xi^2-∑Xi∑Xi)（式1-9)这时把a0、a1代入（式1-1）中，此时的(式1-1）就是我们回归的一元线性方程即：数学模型。在回归过程中，回归的关联式不可能全部通过每个回归数据点（x1,y1.x2,y2...xm,ym），为了判断关联式的好坏，可借助相关系数“R”，统计量“F”，剩余标准偏差“S”进行判断；“R”越趋近于1越好；“F”的绝对值越大越好；“S”越趋近于0越好。R=[∑XiYi-m（∑Xi/m）（∑Yi/m)]/SQR{[∑Xi2-m（∑Xi/m)2][∑Yi2-m（∑Yi/m)2]}（式1-10)*在（式1-10）中，m为样本容量，即实验次数；Xi、Yi分别为任意一组实验数据X、Y的数值。[1]公式拟合对给定数据点集合，在取定的函数类中，求，使误差的平方和最小，。从几何意义上讲，就是寻求与给定点集的距离平方和为最小的曲线y=p(x)。函数p(x)称为拟合函数或最小二乘解，求拟合函数p(x)的方法称为曲线拟合的最小二乘法。[1]最小二乘法的矩阵形式最小二乘法的矩阵形式为：其中为的矩阵，为的列向量，为的列向量。如果（方程的个数大于未知量的个数），这个方程系统称为矛盾方程组（OverDeterminedSystem），如果（方程的个数小于未知量的个数），这个系统就是UnderDeterminedSystem。正常来看，这个方程是没有解的，但在数值计算领域，我们通常是计算，解出其中的。比较直观的做法是求解，但通常比较低效。其中一种常见的解法是对进行QR分解（），其中是正交矩阵（OrthonormalMatrix），是上三角矩阵（UpperTriangularMatrix），则有用MATLAB命令1x=R\(Q\b)可解得最小二乘法的Matlab实现①一次函数线性拟合使用polyfit（x,y,1）②多项式函数线性拟合使用polyfit（x,y,n），n为次数拟合曲线x=[0.5,1.0,1.5,2.0,2.5,3.0]，y=[1.75,2.45,3.81,4.80,7.00,8.60]。解：MATLAB程序如下：x=[0.5,1.0,1.5,2.0,2.5,3.0];y=[1.75,2.45,3.81,4.80,7.00,8.60];p=polyfit(x,y,2)x1=0.5:0.5:3.0;y1=polyval(p,x1);plot(x,y,'*r',x1,y1,'-b')计算结果为：p=0.56140.82871.1560即所得多项式为y=0.5614x^2+0.8287x+1.15560③非线性函数使用lsqcurvefit(fun,x0,x,y)[1]a=nlinfit(x,y,fun,b0)应用最小二乘法的几个问题：最小二乘法虽然在数据处理方面具有显著的效果,但如果使用不当会导致很大的误差,甚至错误的结果。因此,在应用时必须注意以下几个问题:(1)慎重选择拟合关系式。在实际问题中,适当选择拟合关系式是一项十分谨慎的工作,它将直接影响计算的工作量和结论。(2)自变量的选择。在实际工作中,对一组实验11,xy数据按不同的拟合形式,结果会不一样。特别注意当两个变量都有一定误差时,应当使用双变量最小二乘法进行处理,否则可以使用单变量最小二乘法。(3)加权最小二乘法。此法是应用于实验测量值1y非等精度的情况下的拟合方法。它不同程度的消除误差因素,结果更准确可靠。设拟合函数为yfx,当x值取1x时y的实测值为1y,取111yfx。加权偏差平方和22111mmiiiiiiswwyfx,式中iw为第i个实验点的权重因子。选取合适的权重因子iw可获得高精度的拟合参数。（4）最小二乘原理在很多领域有着广泛应用，利用MATLAB求解非常方便，但一定要组要问题的类型，尤其是数据大且复杂时，来更好的突出Matlab计算出线性参数的最佳估计值，提高了效率和精度。（5）非线性参数的最小二乘法处理程序可归结为：首先根据具体问题将非线性问题线性化，列出误差方程；再按最小二乘法原理，利用求极值的方法将误差方程转化为正规方程；然后求解正规方程，得到待求的估计量；最后给出精度估计。上面例题利用程序求解组合测量问题，用Matlab进行曲线的拟合。