非负矩阵分解

非负矩阵分解一、概述著名的科学杂志《Nature》于1999年刊登了两位科学家D.D.Lee和H.S.Seung对数学中非负矩阵研究的突出成果。该文提出了一种新的矩阵分解思想——非负矩阵分解(Non-negativeMatrixFactorization，NMF)算法，即NMF是在矩阵中所有元素均为非负数约束条件之下的矩阵分解方法。在科学文献中，讨论利用矩阵分解来解决实际问题的分析方法很多，如PCA(主成分分析)、ICA(独立成分分析)、SVD(奇异值分解)、VQ(矢量量化)等。在所有这些方法中，原始的大矩阵V被近似分解为低秩的V=WH形式。这些方法的共同特点是，因子W和H中的元素可为正或负，即使输入的初始矩阵元素是全正的，传统的秩削减算法也不能保证原始数据的非负性。在数学上，从计算的观点看，分解结果中存在负值是正确的，但负值元素在实际问题中往往是没有意义的。例如图像数据中不可能有负值的像素点；在文档统计中，负值也是无法解释的。因此，探索矩阵的非负分解方法一直是很有意义的研究问题，正是如此，Lee和Seung两位科学家的NMF方法才得到人们的如此关注。NMF的目标是要自动找到特征矩阵和权重矩阵。也可将其看作是矩阵的乘法。如矩阵A=[2929;4333;1525;4028;2411;2929;3723;216];可分解为如下形式：二、原理2.1标准NMF对于非负矩阵分解，早期的研究方法采用传统的梯度下降方法和加性迭代规则，对于负值要强制为。在文献[51]中考虑的是高斯噪声的模型，由此得到目标函数为欧几里德距离，其目标函数为：相应的迭代规则为：选择好;的值，配置矩阵牙和H的初始值进行迭代，文献[52]中提到了3种初始化W和H的方法。在Lee给出的算法中，矩阵w和H的初始值可以是任意的，此迭代方法的收敛性的证明可参见文献「53]。Donoh。等人[54〕用几何学的方法来对NMF收敛性进行了解释。使用这种方法，Lee和seung进行了大量的实验。当输入矩阵的列向量是人脸面部图像时，NMF的基得到了人脸面部元件诸如嘴、鼻子、眼睛等局部特征。这种情况下得到的分解矩阵是稀疏的。这种方法和通过主分量分析(PCA)和矢量量化(vQ)学习得到的基于整体的表示完全不同。