第六章病态方程解算方法

第六章有偏估计之——病态方程的常用解法1、截断奇异值法2、正则化法1为什么要研究病态方程：当误差方程为病态时，即使观测数据服从正态分布，其最小二乘估值也不理想，甚至很差，其方差虽然在线性无偏估值类中是最小，但方差的值却很大，即平差精度很差，而且解相当的不稳定。1、矩阵的条件数TxxybyybxxxbAx110001.00,0001.220001.111102220001.11112121方程组的解变为：其中有微小变化时，有当常数项其精确解为，即例：有方程组一、病态问题与条件数若系数阵A或常数项b的微小变化，会引起方程组的解x有巨大变化，则这种方程组称为“病态方程组”。A称为病态矩阵。AAbbAAAAAAxxbbxxAAxbAbbAAxxbAxxAbbAxbAxbbxxAxbbAbAx11111211得解的相对误差为：即有多大误差？均有误差时，解、）设所以：（范数特性）即有多大误差？，导致解有误差非奇异，设正常，）中，讨论：在方程组定义。中最大和最小的特征值分别是正定对称矩阵和其中，数为阵的谱条件阵），（如法方程的为正定实对称矩阵时，当感程度。组的解对原始数据的敏条件数。它刻画了方程的为矩阵，称乘积对非奇异阵AAAAcondANAAAAAminmaxminmax21221不稳定模型：输入数据很小的误差会引起待估参数很大的误差。所以病态方程也是不稳定模型。矩阵的条件数：2、病态性程度的衡量方法。时，有严重的复共线性中等强度复共线性；时，有时，有弱复共线性；在复共线性；时，可以认为不存中，的特征值通常的判断标准，模糊的说法。很接近于零”是一个很个复共线性关系。但“中就有多少于零，设计矩阵有多少个特征值很接近法矩阵、特征分析法01.005.001.01.005.01.0iiiiiNBNa解释：复共线性复共线性，指的是平差参数之间具有近似相关关系，反映在误差方程的设计矩阵上，就是列向量间的某些数据列可以由其余的数据列近似（非精确）地线性表示。在最小二乘平差中，“复共线性”就是指“病态性”。方差分解比方法。条件指标法、。中有几个复共线性关系判定设计矩阵条件数法的缺点是不能情况修正取舍。对上述准则应根据实际左右。所以致在快速定位中，条件数大如数据处理实际应用中，量前提下得到的。但在测对数据中心化标准化的呈病态。这个指标是在，系统时存在严重的复共线性时没有复共线性；一般认为、条件数法CTVDPcBKKNNNcondKb13minmax110GPS10001003、病态方程产生原因1、参数选取原因。（参数近似相关或过度参数化）2、观测原因。（样本为局部采样或接近重复采样）3、模型选择原因。（模型建立的方法不同，其病态程度不同）4、计算方面原因。（计算方法要稳定，计算机字节长度应长一些）4、病态方程最小二乘估值的性质病态方程处理的观测值可以是正态分布，但其LS估值并不理想，甚至很差。虽然LS估计的方差在线性无偏类估值中是最小，但数值却很大，并表现得相当不稳定。常用均方误差MSE来评价病态情形下参数的估值质量。的减小。部分，换取方差部分大偏差有偏估计实质：适当增。估值，即参数估值将不再是无偏用解病态方程法得到的的一个良好估值了。不再是估值很大，此时值较小，会导致的最小特征。而若法矩阵的无偏估值，即是真值上式的条件为由均方误差公式：122120120212ˆˆ20~ˆ~ˆˆ0~ˆ1~ˆ~ˆ~ˆˆxxExxLSxMSENxxBBtrxxEQtrxxxxExMSEitiiTxxT问题的适定性：人们根据已获取的观测数据和物理规律，列出的数学模型，当这些模型具有下述性质：1、解存在；２、解唯一；３、解稳定。则这个问题称为适定性问题。不适定性：不满足上面三个条件中的任意一个或多个。不适定问题通常是病态的，但病态问题不一定就是不适定问题。不适定问题通常是求方程的稳定近似解。5、什么样的方程可能是病态的？1）行列式的值很大或很小（如某些行、列近代相关）；2）元素间相差大数量级，且无规则；3）主元消去过程中出现小主元；4）特征值相差大数量级。二、病态方程的解法1、病态方程的截断奇异值解法奇异值分解技术(SingularValueDecomposintionTechnique，简记为SVD法)均为正交矩阵。、为半正定的对角阵；式中阵可分解为时，对）当（进行奇异值分解：下面对的广义逆。是为的最小二乘最小范数解是误差向量。得是设计矩阵，已经单位化）：的权阵测值向量设有观测方程（式中观VUVUAAtnppArankAAALAxxeAeLxAPLttTtnnntnLS,min)(1ˆ1n1n1ttnminmax2212121212,:.0),min(,,,000AcondAvvvVuuuUVUAAAAtnARpdiagDDtniiiTiipptn数与奇异值的关系为：为长方阵时，得其条件系：）奇异值与条件数的关（阵按列划分，为和将。的关系为：的特征值或与矩阵奇异值阵全部的非零奇异值。是且其中：阵的分块形式为。近似秩亏的线性方程组法可解算满秩、秩亏和看出，由有，，而的通解为：线性方程组组的数值稳定的方法。、特别是线性病态方程分解法是求线性方程组，可见奇异值超过时，奇异值的变化不会有扰动此特性说明当矩阵，有，则对均属于与若。）、奇异值分解的扰动（SVDVUAtnpARdiagDDUVVUALAxLAxEEAEAEAtptnREAATppntTTAAApAptnA12111211111220,min,,,000,2,13性。了条件数，提高了稳定关性很强的约束，降低量，这相当于舍去了相及其相关的特征向的奇异值，舍去小于值截断原则：选择一个阈程的截断奇异值法解：步对其截断，得病态方在第得解为：的奇异值分解式可写为inTinTitiitTnpinTitiitLSpiTiiiTLuvxTLuvLAxuvUVAA11111111111111ˆˆ平差中，设计矩阵B为病态，其秩为R(B)=t。通过截断，适当去除（t-T）个大误差项，恢复了一些解的主要特性，但也丧失了一些解的精确性。13均为单位阵）内容岭估计。（以下时，正则化估计也称为正则化矩阵。当满足正则化参数光滑函数。RIRRTikhononvxxRxPVVxTT0ˆ2minˆˆˆ2、病态方程的正则化解法）式：的正则化准则作用于（，此时可取的特征值单调地趋向于若上式病态，则法矩阵）（有误差方程：101ˆTikhonovNlxBVPlBIPBBxTtT1ˆ＋得正则化参数解为：可见，正则化方法的核心是通过附加“全部或部分参数（或其改正数）加权平方和极小”的条件，增加约束，补充（先验）信息，来克服不适定性，使解唯一且稳定。14QIIINQNQQxxQNQQxMSEMxQxxExBiasxBiasxxBlElIPBBQlxBVPlBQxINQtttTnTTt其中考虑了：阵为评定精度的均方误差矩为的偏差值有参数的期望值与其真考虑为参数估值及残差可表示设~~ˆ~~ˆˆˆ~,~ˆˆ22013、正则化解的单位权方差无偏估计正则化解的残差及自由度与最小二乘解不同，因此其单位权方差估计式也不同。2022201222~~~:~QtrtnPDtrBNQBQBBQPDxQQxVEVPEtrVEVPEtrPDtrVVPEtrPVVExBQVExBNBQlEIPBBQVEQINQVVTTVVTTTVVTTnTt而，有根据二次型的期望公式上两式合并，有及残差的期望：由代替。，可以用参数估值参数真值计算时，由于无法得到为差无偏估计的计算公式所以正则化法单位权方即有xxQtrtnxQQxPVVQtrtnxQQxPVVEPDtrVEVPEtrPVVETTTTVVTTˆ~~~ˆ~~22220202222岭参数（正则化参数）的选取—L曲线法（1）。数估值平衡，得到更准确的参之间的与正则函数光滑度平方和，可以更好地控制残差一个合适的如图，参数。值，该值即为所求的岭最大的那个点的曲线法上曲率曲线法的关键是定曲线法。的方法称为选定岭参数拟合曲线，用这条曲线为纵坐标作图，得一条为横坐标，值，以择不同的的函数，选均为岭参数和中，式法等。在曲线法、岭迹法及有有多种选取法，常用的岭参数xxxPVVLLLxxxPVVxxPVVxxPVVxLTTTTTTTTˆˆˆ0943.2ˆˆˆˆˆminˆˆˆGCV正则化参数的谱分解求取法（2）当均方误差矩阵时，求得的为最优值。但由于参数真值未知，若用最小二乘解作为近似值代入，也不会得到的最优值。事实上，每一个计算正则化参数的准则都有其优点和缺点及适用的特定场合，不存在一个准则在所有场合都优于其它准则。18minˆxMSEM对应的特征向量）阵所有特征值阵是征向量，而此处的阵的零特征值对应的特是阵差的阵完全没关系，秩亏平阵与秩亏平差的附加阵（注意：该。或正交阵特性：阵。将特征值排为的特征向量组成的正交的特征值为由，可作如下谱分解：对于实对称法矩阵NGNGGGGGIGGNGGGPBBNPBBNTTniTTT121,0的值。，可得到的元素。上式求和后为是向量式中，有求上式的迹并要求最小均方误差矩阵为0~minˆ~~~~~~ˆ22222011211201121120220xGZZZxMSEMtrGIGxxGIGGIIGINxxININNINQxxQNQQxMSEMTiiiiiTtTTtTtttTtttT20为所有正实数）数据（都可以作为迭代的起始不存在，任何解；若可用起始值存在，为加快迭代速度解）若（的计算步骤：设RRLSxxxLSzxMSEMtrTiii02003202ˆˆˆ102ˆ在唯一解；上必存，区间是单调递增函数，在闭。由于件的选择只需满足条＝，＝，取反之，若；件的选择只需满足条＝，＝，取若212020101010200,100,1002cccccc21值即为所求值。的最后使得给定的限值。的长度小于，，直到闭区间和重复步骤；，否则取若作为解的近似值；＋取0435,042/3211221