62第二节-超定方程组的解

数学学院信息与计算科学系第二节超定方程组的最小二乘解例如就是一个超定方程组设方程组Ax=b中,A=(aij)mn,b是m维已知向量,x是n维解向量,当mn即方程组中方程的个数多于自变量的个数,称此方程组为超定方程组.数学学院信息与计算科学系22r定义记误差向量r=b-Ax,称使最小的解x*为方程组Ax=b的最小二乘解.定理x*是Ax=b的最小二乘解的充要条件为x*是ATAx=ATb的解.一般说来，超定方程组无解（此时为矛盾方程组），这时需要寻找方程组的一个“最近似”的解.数学学院信息与计算科学系定理x*是Ax=b的最小二乘解的充要条件为x*是ATAx=ATb的解.),(**AyAxbAyAxb22*22bAxbAxAy),(),(2),(***AyAyAxbAyAxbAxb22*22*)(2AyAxbAyAxbTT222**222bAxAybAx所以x*是Ax=b的最小二乘解.证充分性若存在n维向量x*使ATAx*=ATb,任取一n维向量,令,则y≠0,且xxyxx数学学院信息与计算科学系必要性误差向量r=b-Ax的第i个分量为),,...,2,1(1mixabrnkkikii记minkkikinxabrxxxII1122221)(),...,,(误差最小，由多元函数求极值的必要条件，可得112()0mniikkijikjIbaxax),...,2,1(nj设解为12(,,...,)Tnxxxx数学学院信息与计算科学系此线性方程组写成矩阵形式就是TTAAxAb即有111()nmmijikkijikiiaaxab),...,2,1(nj故x*是ATAx=ATb的解.定理得证.这里ATAx=ATb是关于x1,x2,…,xn的线性方程组，称为正规方程组或法方程组.数学学院信息与计算科学系解的存在唯一性由于ATA是n阶方阵，且是对称阵，当R(A)=n时，对任意y≠0，有Ay≠0，所以022AyAyAyyAAyTT),()(可见ATA是正定矩阵，必有det(ATA)0。故法方程的解存在且唯一.TTAAxAb数学学院信息与计算科学系7262353114221212121xxxxxxxx例1求超定方程组的最小二乘解，并求误差平方和.解方程组写成矩阵形式为122411353126217xAxbx数学学院信息与计算科学系763111254213221xx正规方程组为ATAx=ATb，即7631112542132125421321254213221xx数学学院信息与计算科学系即有121835134648xx解得最小二乘解为2418.10403.321xx故误差平方和为2222(1111.0478)(32.9119)(65.5239)(77.3224)0.34065942I此时有1211221231242411.0478352.911925.523927.3224xxbxxbxxbxxb2222111()()mnmiikkiiikiIrbaxbb