广义逆

基于广义逆非负矩阵分解的无线传感器网络节能通信课题组员：屈大磊王杰吴家豪朱永祥张钊良所要探讨的知识1：广义逆的概念2：奇异值分解及定理3：奇异值分解的解法应用4：非负矩阵分解5：非负矩阵分解的应用6：总结Penrose定义存在一个唯一的广义逆矩阵†X同时满足：第三节奇异值分解矩阵的奇异值分解在矩阵特征值问题，最小二乘法问题及广义逆矩阵问题等有重要应用矩阵的等价标准型定理：设,0rCAnmr则存在,,nnnnmmCTCS使得000rISAT右式称为矩阵A的等价标准型酉等价：设,,nmCBA若存在m阶酉矩阵U和n阶酉矩阵V，使得,BAVUH则称A与B酉等价。矩阵的奇异值分解就是矩阵在酉等价下的一种标准型。引理1证明设是AHA的特征值，x是相应的特征向量，则AHAx=x由于AHA为Hermite矩阵，故是实数。又。的特征值均为非负实数与设HHnmAAAACA,0,0)()(),(0xxxxAxAxAxAxHHH同理可证AAH的特征值也是非负实数。证明设x是方程组AHAx=0的非0解，引理2)()()(,ArankAArankAArankCAHHnmr则设mCAx0)(),(AxAxAxAxHH故则由同解。与线性方程组因此00,AxAAxH得;0Ax的解；的解也是反之，00AxAAxH)()()(HHAArankAArankArank)()(AArankArankH得替换用,AAH对于Hermite矩阵AHA，AAH，设AHA，AAH有r个非0特征值，分别记为00121121nrrrrmriii,,2,1,则,nmrCA设即：AHA与AAH非0特征值相同，并且非零特征值的个数为)(Arank奇异值的定义值。的正奇异值，简称奇异为矩阵称Ariii),,2,1(0,121mrrHnmrAACA的特征值为且设说明：A的正奇异值个数恰等于，并且A与AH有相同的奇异值。)(Arank则酉等价与设证明,,,BACBAnmr,)(BVBVUBVUBVAAHHHH）（有相同的奇异值。与故特征值，是酉相似的，有相同的与所以BABBAAHH定理酉等价的矩阵有相同的奇异值由UBVACVCUnnmm使存在酉矩阵,,.)1(的奇异值分解式称为矩阵A的正奇异值，是设ACArnmr,,,,21，使阶酉矩阵及阶酉矩阵则存在VnUm)1(000000HHVUAAVU或),,,(21diag其中称为矩阵A的酉等价标准形.000奇异值分解定理证明)2(,000)(2VAAVHH由于AHA是Hermite矩阵，存在n阶酉矩阵V,使;),,,(2222212iirdiag其中,,,,)(2121rnnrnrnrCVCVVVV记将矩阵V分块，则有：22122111AVAVAVAVAVAVAVAVHHHHHHHH4111rnCAVU21212,)(000VVAAVVHHH0)()()()(222221111AVAVAVAVAVAVAVAVHHHHHH比较等式两端得：3,02AV从而有设为酉矩阵。），（使得21UUU,011212AVUUUHH并且,4111111rHHHIAVAVUU）得：由（即U1的r个列是两两正交的单位向量，则,)(2rmmCU存在rmHIUU222121VVAUUAVUHHH于是22122111AVUAVUAVUAVUHHHH111AVU02AV,012UUHrHIUU11001211UUUUHH000推论在矩阵A的奇异值分解A=UDVH中，U的列向量为AAH的特征向量，V的列向量为AHA的特征向量.HHHHUDVUDVAA))((证明)0,,0,,,,()(212rHUdiagUDUAAHHHUUDVDUUDV2），，，（记nuuuU21niuuAAiiiH,,2,1,)(则说明：此定理仅是奇异值分解的必要条件，但不是充分条件。1]求矩阵AHA的酉相似对角矩阵及酉相似矩阵V;000)(2VAAVHH,,),,()(2121rnnrnCVCVVVVrmCAVU1115]构造奇异值分解4]扩充U1为酉矩阵U=(U1,U2)3]令2]记奇异值分解方法1—利用矩阵AHA求解HVUA000例1、求矩阵000110101A的奇异值分解可求得的特征值为211110101AAHAAH,0,1,3321对应的特征向量依次为,2,1,11Tx,0,1,12Tx,1,1,13Tx于是可得：,2rankA,1003令,,21VVV其中3221131,21,61xVxxV计算：111AVU0021212121构造：TU1,0,02则1000212102121,21UUUA的奇异值分解为TVUA000010003奇异值分解方法2--利用矩阵AAH求解1]先求矩阵AAH的酉相似对角矩阵及酉相似矩阵U;000)(2UAAUHH,,),,()(2121rmmrmCVCUUUUrnHCUAV1114]扩充V1为酉矩阵V=(V1,V2)5]构造奇异值分解2]记3]令HVUA000例求矩阵A的奇异值分解000021A利用矩阵AAH求解0,5,5,5,0000000053211的特征值HHAAAA;100,010,001321xxx对应的特征向量分别为）（）（取32211321,,,,,xxUxUxxxU,510010020015251111UAVH令515252512151522),(,VVVV则取51525251000005100010001HUAVA因此非负矩阵分解4.2.1非负矩阵分解理论描述己知非负矩阵V，寻找非负矩阵因子W和H，使得：即给定n维数据向量的集合，其中m为集合中数据样本的个数，这个矩阵可以分解为矩阵，和矩阵的乘积。一般情况下r的选择要满足(n+m)rnm，从而W和H将会小于原始矩阵V,这样就得到原始数据矩阵的一个压缩模型。如果假设和是矩阵V和H所对应的列向量，则上式还可以写成列向量的形式：。也就是说，每一个样本可近似地看作非负矩阵W的列向量的非负线性组合，组合系数是的分量。所以矩阵形可以看作对数据矩阵V进行线性逼近的一组基，而H则是样本集V在基W上的非负投影系数。通常可以用少量的基向量组来表征大量的数据向量，如果我们寻找合适的基向量组，使其能够代表数据之间潜在的结构关系，则会获得很好的逼近与表示效果。4.2.2目标函数对于NMF问题的求解常用的两种目标函数分别为：式可解释为在上加上泊松噪声／高斯噪声从而产生了，即NMF迭代算法可表示成：((其中代表了噪声)，选取离散possion噪声作为占的具体表达形式，得出迭代算法为：其中式4一(4)(b)是对W的列的归一化，以避免矩阵分解中的Scaling问题。算法使得经过迭代趋于零，从而得到了。在每步迭代过程中采用交替梯度投影方法，即，首先固定H，对目标函数W针对缈采用梯度下降法进行迭代；然后变换W和H的角色，固定W,对目标函数针对H采用梯度下降法进行迭代，同时在算法中引入惩罚函数，以保持W的每一列的元素和为l。该算法的收敛性在已有文献中已经得到证明。由于这种算法是收敛的，且较易设计开发，实际应用效果很好。在算法的每一步迭代过程中，W和H的新值是通过当前值与一些因子的乘积来获得的。在实际应用中，只要根据迭代规则重复迭代，算法一定会保证收敛到某个局部最优解。