误差理论与数据处理-第五章

1BEIJINGUNIVERSITYOFTECHNOLOGY北京工业大学测控技术与仪器1、最小二乘法原理是一种在多学科领域中获得广泛应用的数据处理方法。该方法可解决2、最小二乘法按处理方法不同分第五章线性参数的最小二乘法处理回归分析拟合经验公式组合测量数据处理参数最可信赖估计矩阵最小二乘法法）经典最小二乘法（代数2BEIJINGUNIVERSITYOFTECHNOLOGY北京工业大学测控技术与仪器§5-1最小二乘法原理一、最小二乘法基本思路1、引例利用最小二乘法求标准米尺温度膨胀系数的例子米尺长度—的米尺长度—米尺温度膨胀系数测定方法：在不同温度条件下测出一系列值，在据以求)1(20ttLL0L,itiL,Ct003BEIJINGUNIVERSITYOFTECHNOLOGY北京工业大学测控技术与仪器令，于是或式中：L,a,b,c为可测量和经简单计算即可知的量(已知量)x，y为待求量2、设L和t各测取几个值，当已知可得相应的条件方程组(或称测量方程组)yx,)1(20yttxLL),,,,(cbayxfLcbyaxL0200,,LctLbtLa0L4BEIJINGUNIVERSITYOFTECHNOLOGY北京工业大学测控技术与仪器3、方程组特点分析方程组有2个(x,y)未知数(一般可为m个)a)n=m，方程有唯一解；b)nm，方程有无穷多解(未知量大于独立方程)c)nm，则任选其中m个方程式，即可求m个未知量。),,,,(),,,,(),,,,(22221111nnnncbayxfLcbayxfLcbayxfL5BEIJINGUNIVERSITYOFTECHNOLOGY北京工业大学测控技术与仪器分析：对c)种情况，若取值绝对精确(不论测多少组，结果不变)，则所求解也将唯一，即代入其余n-m方程式中均可满足。然而,由于测量误差存在，把解代入n-m个式中，并不满足只是当nm的情况下，可以找出一组最佳或最恰当解。将其代入个方程式后，虽不能使但却是与零相差很微小的v值(可称残差)。从方程组整体上看，这一组解可以是误差组最小的唯一解。0),,,,(cbayxfL0),,,,(cbayxfL条件6BEIJINGUNIVERSITYOFTECHNOLOGY北京工业大学测控技术与仪器4)考虑测量误差后：…—直接测量值的估计量—测量数据),,,,(111111111cbayxflLlV),,,,(222222222cbayxflLlV),,,,(nnnnnnnnncbayxflLlVnLL,...1nll,...,17BEIJINGUNIVERSITYOFTECHNOLOGY北京工业大学测控技术与仪器如得到一组最佳解，条件为：方程式残余误差的平方和为最小。即即是说，另取一组解，其这就是最小二乘法思想。2.基本表示方法：设直接量的估计量分别为有：最小2iV22i'iVVnY,...,Y,Y21nyyy,...,,218BEIJINGUNIVERSITYOFTECHNOLOGY北京工业大学测控技术与仪器测量数据的残余误差为：111ylV222ylVnnnylV),...,,(),...,,(),...,,(2121222111tnnttxxxfyxxxfyxxxfy9BEIJINGUNIVERSITYOFTECHNOLOGY北京工业大学测控技术与仪器即：…——误差方程，或残余误差方程式（简称残差方程式）根据最大或然原理可推出一组最佳取值的条件为：——最小二乘法原理(保证概率密度P最大)),...,,(21111txxxflV),...,,(21222txxxflV),...,,(21tnnnxxxflV最大同时出现概率为nip....ppppV321最小2iV10BEIJINGUNIVERSITYOFTECHNOLOGY北京工业大学测控技术与仪器说明：1)对于不等精度测量时：将不等精度问题化为等精度时，引入权有：则上式为2)应用最小二乘法时，误差数据必须是a)无偏的，即无系统误差消除系统b)相互独立的，即服从正态分布前提条件最小22ii/Vip22iip最小2iivp11BEIJINGUNIVERSITYOFTECHNOLOGY北京工业大学测控技术与仪器二、最小二乘法的基本运算(残差的代数与矩阵表示法)最小二乘法用于1、线性函数的最小二乘法(介绍等精度)----代数法线性参数测量方法的一般形式：线性形式借助级数展开近似化为—非线性参数常用，也是最基本内容—线性参数ttXaXaXaY12121111...ttXaXaXaY22221212...tntnnnXaXaXaY...221112BEIJINGUNIVERSITYOFTECHNOLOGY北京工业大学测控技术与仪器相应估计量为：对应误差方程为：直接测量未知量直接测量量，iiXYttxaxaxay12121111...ttxaxaxay22221212...tntnnnxaxaxay...2211)...(121211111ttxaxaxalV)...(222212112ttxaxaxalV)...(22111tntnnnxaxaxalV13BEIJINGUNIVERSITYOFTECHNOLOGY北京工业大学测控技术与仪器2、借助矩阵形式求解或表示清晰(矩阵形式)设列向量nlll...21Ltxxx...ˆ21Xnvvv...21Vtntn阶矩阵()为14BEIJINGUNIVERSITYOFTECHNOLOGY北京工业大学测控技术与仪器式中各矩阵元素：为n个直接测量结果(已获测量数据)为t个待求的被测量的估计量为n个直接测量结果的残余误差为n个误差方程的n×t个系数。ntnnttaaaaaaaaa.....................212222111211Anlll,...,,21txxx,...,,21nVVV,...,21ntaaa,...,,121115BEIJINGUNIVERSITYOFTECHNOLOGY北京工业大学测控技术与仪器则线性参数的误差方程可表示为：即：等精度测量时，残余误差平方和最小这一条件的矩阵形式为：或：tntnnttnnxxxaaaaaaaaalllVVV..............................212122221112112121XALVˆ最小VVT最小)()XˆALXˆA(LT16BEIJINGUNIVERSITYOFTECHNOLOGY北京工业大学测控技术与仪器3、不等精度的线性函数最小二乘法：式中P为n×n阶权矩阵这里：—表示测量数据的权最小PVVT最小XˆALPXˆALT2222221221/0000...0000/00...0/...000...000...00...0nnpppp22ii/pil17BEIJINGUNIVERSITYOFTECHNOLOGY北京工业大学测控技术与仪器—测量数据的方差—等精度测量标准方差说明：线性参数不等精度测量可化为等精度形式方法：将误差方法化为等权的形式。设的权为，将不等精度误差方程两端同乘以相应权的平方根2iil2nlll,...,,21nppp,...,,2118BEIJINGUNIVERSITYOFTECHNOLOGY北京工业大学测控技术与仪器令：i=1,2,…,n则误差方程化为等精度形式上式中已具有相同权，与等精度误差方程形式一致，即用等精度形式处理——化成等精度问题求解。设n×1阶矩阵2/12/1222/1112/12/12/122/1212/112/12/1,...,,...,)...(iititiiiiiiiiiiiitiiiiiiiiiipaapaapaapllpVVxpapaxpaplpV)(2211titiiiixaxaxalv19BEIJINGUNIVERSITYOFTECHNOLOGY北京工业大学测控技术与仪器不等精度误差方程的矩阵为：此时最小二乘法条件用矩阵表达为：最小或＝最小''2'1*nlllL''2'1*nvvvV''2'1'2'22'21'1'12'11*ntnnttaaaaaaaaaAXALVˆ***XALXALTˆˆ****VVT*20BEIJINGUNIVERSITYOFTECHNOLOGY北京工业大学测控技术与仪器§5-2正规方程nt时，一般方程难于求解t个参数，最小二乘法则可将误差方程转化为有确定解的代数方程组(方程组数等于t)。该具有确定解的代数方程组称为最小二乘法估计的正规方程或法方程。一、正规方程确定参数步骤1)根据具体问题列误差方程2)按最小二乘法，利用求极值方法化为正规方程3)求正规方程及待求估计量，最后给出精度估计21BEIJINGUNIVERSITYOFTECHNOLOGY北京工业大学测控技术与仪器1、等精度测量线性参数最小二乘法处理正规方程线性参数的差分方程为：满足最小二乘条件即为：为求估计量，可用求极值方法满足上式条件。为此：对求导并令其为零，有nixaxaxalvtitiiii,,2,12211最小222212nvvvvtxxx,,,212v22BEIJINGUNIVERSITYOFTECHNOLOGY北京工业大学测控技术与仪器令：0222221112222121121121211111112tntnnnnttttxaxaxalaxaxaxalaxaxaxalaxvnnntntttnnnnlalalalaaaaaaaaaaaaaaaaaaaaaaaaa12211111122111112122211211211121211111111x23BEIJINGUNIVERSITYOFTECHNOLOGY北京工业大学测控技术与仪器则上式可简写为：0202022211222221122221221111112tttttttttttxaaxaaxaalaxvxaaxaaxaalaxvxaaxaaxaalaxv24BEIJINGUNIVERSITYOFTECHNOLOGY北京工业大学测控技术与仪器用i来表示为：上式二阶偏导数：判定上式的极值为极小值，满足最小二乘条件。因而,用上式得到估计量即为所求。为方便可写成t个方程组：tjxaaxaaxaalaxvttjjjji,,2,1022211202222jjiaaxvtjlaxaaxaaxaajttjjj,2,1221125BEIJINGUNIVERSITYOFTECHNOLOGY北京工业大学测控技术与仪器等精度组量的线性参数最小二乘法处理的正规方程说明：1、方程为t元线性方程组2、当系数行列式不为零时，有唯一解，由此得。3、正规方程的特点：a)沿主对角线分布的平方项系数都为正数b)以主对