基于偏最小二乘法的故障检测

基于偏最小二乘法的故障检测目录引言相关理论偏最小二乘法基于偏最小二乘的故障检测目录引言相关理论偏最小二乘法基于偏最小二乘的故障诊断在实际问题中，经常遇到需要研究两组多重相关变量间的相互依赖关系，并研究用一组变量（常称为自变量或预测变量）去预测另一组变量（常称为因变量或响应变量），除了最小二乘准则下的经典多元线性回归分析（MLR），提取自变量组主成分的主成分回归分析（PCR）等方法外，还有近年发展起来的偏最小二乘（PLS）回归方法。偏最小二乘回归提供一种多对多线性回归建模的方法，特别当两组变量的个数很多，且都存在多重相关性，而观测数据的数量（样本量）又较少时，用偏最小二乘回归建立的模型具有传统的经典回归分析等方法所没有的优点。偏最小二乘回归分析在建模过程中集中了主成分分析，典型相关分析和线性回归分析方法的特点，因此在分析结果中，除了可以提供一个更为合理的回归模型外，还可以同时完成一些类似于主成分分析和典型相关分析的研究内容，提供一些更丰富、深入的信息。偏最小二乘回归≈多元线性回归分析+典型相关分析+主成分分析目录引言相关理论偏最小二乘法基于偏最小二乘的故障检测多元线性回归分析:在实际问题中我们常常会遇到多个变量同处于一个过程之中,它们互相联系、互相制约.在有的变量间有完全确定的函数关系,例如电压V、电阻R与电流I之间有关系式:V=IR;在圆面积S与半径R之间有关系式S=πR^2。自然界众多的变量之间,除了以上所说的那种确定性的关系外,还有一类重要的关系,即所谓的相关关系.比如,人的身高与体重之间的关系.虽然一个人的身高并不能确定体重,但是总的说来,身高者,体重也大.我们称身高与体重这两个变量具有相关关系。一元线性回归分析:例测16名成年女子的身高与腿长所得数据如下：身高143145146147149150153154155156157158159160162164腿长8885889192939395969897969899100102以身高x为横坐标，以腿长y为纵坐标将这些数据点（xi，yi）在平面直角坐标系上标出。1401451501551601658486889092949698100102xy10多元线性回归分析:011...;mmyxx01122,1,2,,iiimimiyxxxin一般称nICOVEXY2),(,0)(为高斯—马尔可夫线性模型(m元线性回归模型)，并简记为),,(2nIXY。nyyY......1，1112121222121...1..................1...mmnnnmxxxxxxXxxx，01...m，n...21011...mmyxx称为回归平面方程。典型相关分析:为了从总体上把握两组指标之间的相关关系，分别在两组变量中提取有代表性的两个综合变量T1和U1（分别为两个变量组中各变量的线性组合），利用这两个综合变量之间的相关关系来反映两组指标之间的整体相关性。主成分分析：通过构造原变量的适当的线性组合，以产生一系列互不相关的新变量，从中选出少数几个新变量并使它们尽可能多地包含原变量的信息（降维），从而使得用这几个新变量替代原变量分析问题成为可能。目录引言相关理论偏最小二乘法基于偏最小二乘的故障检测考虑p个因变量12,,,pYYY与m个自变量12,,,mXXX的建模问题。偏最小二乘回归的基本作法是首先在自变量集中提出第一成分1T（1T是1,,mXX的线性组合，且尽可能多地提取原自变量集中的变异信息）；同时在因变量集中也提取第一成分1U，并要求1T与1U相关程度达到最大。然后建立因变量1,,pYY与1T的回归，如果回归方程已达到满意的精度，则算法中止。否则继续第二对成分的提取，直到能达到满意的精度为止。若最终对自变量集提取r个成分12,,,rTTT，偏最小二乘回归将通过建立1,,pYY与12,,,rTTT的回归式，然后再表示为1,,pYY与原自变量的回归方程式，即偏最小二乘回归方程式。为了方便起见，不妨假定p个因变量1,,pYY与m个自变量1,,mXX均为标准化变量。自变量组和因变量组的n次标准化观测数据矩阵分别记为11101mnnmyyYyy，11101pnnpxxXxx.偏最小二乘回归分析建模的具体步骤如下（1）分别提取两变量组的第一对成分，并使之相关性达最大。假设从两组变量分别提出第一对成分为1T和1U，1T是自变量集1[,,]TmXxx的线性组合111111TmmTwXwXwX，1U是因变量集1[,,]TpYyy的线性组合111111TppUvYvYvY。为了回归分析的需要，要求i）1T和1U各自尽可能多地提取所在变量组的变异信息；ii）1T和1U的相关程度达到最大。由两组变量集的标准化观测数据矩阵0X和0Y，可以计算第一对成分的得分向量，记为1t和1u1111111101111mnnmmnxxwttXwxxwt，1111111101111pnnppnyyvuuYvyyvu.第一对成分1T和1U的协方差11Cov(,)TU可用第一对成分的得分向量1t和1u的内积来计算。故而以上两个要求可化为数学上的条件极值问题1101011001maxTTtuXwYvwXYvs.t.211121111,1.TT利用Lagrange乘数法，问题化为求单位向量1w和1v，使11001TTwXYv达到最大的有约束条件的极值问题。111001111211(,)(1)(1)TTTTQwvwXYvwwvv对Q分别求关于1112,,,cw和的偏导并令之为零，有0011111112010TTQQXYv0012111122010TTQQXYwvvvv可得，2000011120000111TTTTXYYXwwYXXYvv可见，1w是矩阵0000TTXYYX的特征向量，对应的特征值为21。所以1w是对应于矩阵0000TTXYYX最大特征值为21的单位特征向量。1v是对应于矩阵0000TTYXXY最大特征值为21的单位特征向量。也就是说，问题的求解只须通过计算mm矩阵0000TTMXYYX的特征值和特征向量，且M的最大特征值为21，相应的单位特征向量就是所求的解1w，而1v也可由1w计算得到100111TvYXw(2)建立1,,pYY对1T的回归及1,,mXX对1T的回归假定回归模型为01110111,,TTXtEYtF1111[,,]Tm，1111[,,]Tp分别是多对一的回归模型中的参数向量，1E和1F是残差阵。回归系数向量1和1的最小二乘估计为0112111111011111001121()()或TTTTTTTTTTXtttttXtttYYtt称1和1为模型效应负荷量。(3)用残差阵1E和1F代替0X和0Y重复以上步骤记011ˆTXt，011ˆTYt，则残差阵100ˆEXX，100ˆFYY。如果残差阵1F中元素的绝对值近似为0，则认为用第一个成分建立的回归式精度已满足需要了，可以停止抽取成分。否则用残差阵1E和1F代替0X和0Y重复以上步骤即得2212[,,]Tm，2212[,,]Tpvvv，分别为第二对成分2T和2U的权重。而212tEw，212uFv为第二对成分的得分向量，2221222122，TTEttFtt分别为,XY的第二对成分的负荷量。这时有011222011222,.TTTTXttEYttF（4）设nm数据阵X的秩为min(1,)rnm，则存在r个成分12,,,rttt，使得011011,.TTrrrTTrrrXttEYttF设**(1,,),(1,,)iiXipYjp表示标准化变量，把**11kkkmmTwXwX（1,2,,kr），代入*11,(1,2,,)jjrjrYTTjp，即得p个因变量的偏最小二乘回归方程式*****11ˆjjjmmYXX，1,2,,jp.然后再还原为原始变量的偏最小二乘回归方程：011ˆ+jjjjmmYXX，1,2,,jp（5）交叉有效性检验。一般情况下，偏最小二乘法并不需要选用存在的r个成分12,,,rttt来建立回归式，而像主成分分析一样，只选用前l个成分（lr），即可得到预测能力较好的回归模型。对于建模所需提取的成分个数l，可以通过交叉有效性检验来确定。每次舍去第i个观测数据（1,2,,in），对余下的1n个观测数据用偏最小二乘回归方法建模，并考虑抽取h（hr）个成分后拟合的回归式，然后把舍去的自变量组第i个观测数据代入所拟合的回归方程式，得到(1,2,,)jYjp在第i个观测点上的预测值()ˆ()ijbh。对1,i2,,n重复以上的验证，即得抽取h个成分时第j个因变量(1,2,,)jYjp的预测误差平方和为2()1ˆPRESS()(())njijijihbbh，1,2,,jp，1[,,]TpYYY的预测误差平方和为1PRESS()PRESS()pjihh.另外，再采用所有的样本点，拟合含h个成分的回归方程。这时，记第i个样本点的预测值为ˆ()ijbh，则可以定义jY的误差平方和为21ˆSS()(())njijijihbbh，定义的误差平方和为1SS()SS()pjjhh.当PRESS()h达到最小值时，对应的h即为所求的成分个数l。通常，总有PRESS()h大于SS()h，而SS()h则小于SS(1)h。因此，在提取成分时，总希望比值PRESS()SS(1)hh越小越好；一般可设定限制值为0.05，即当22PRESS()SS(1)(10.05)0.95hh时，增加成分hu有利于模型精度的提高。案例分析采用兰纳胡德（Linnerud）给出的关于体能训练的数据进行偏最小二乘回归建模。在这个数据系统中被测的样本点，是某健身俱乐部的20位中年男子。被测变量分为两组。第一组是身体特征指标X，包括体重、腰围、脉搏。第二组变量是训练结果指标Y，包括单杠、弯曲、跳高。解123,,xxx分别表示自变量指标体重、腰围、脉搏，123,,yyy分别表示因变量指标单杠、弯曲、跳高，自变量的观测数据矩阵记为203()ijAa，因变量的观测数据矩阵记为203()ijBb。（1）数据标准化将各指标值ija转换成标准化指标值ija，(1)(1)ijjijjaas，1,2,,20i，1,2,3j，其中20(1)1120jijia，(1)(1)211()201njijjisa，(1,2,3j)，即(1)(1),jjs为第j个自变量jx的样本均值和样本标准差。对应地，称(1)(1)jjjjxxs，1,2,3j，为标准化指标变量。类似地，将ijb转换成标准化指标值ijb，(2)(2)ijjijjbbs，1,2,,20i，1,2,3j，其中20(2)1120jijib，(2)(2)211()201njijjisb，(1,2,3j)，即(2)(2),jjs为第j个因变量jy的样本均值和样本标准差；对应地，称(2)(2)jjjjyys，1,2,3j，为对应的标准化变量。(2)建立1,,pYY对1T的回归及1,,mXX对1T的回归112311230.5