矩阵奇异值分解

线性代数的几个基本概念张剑湖2010年7月(一)引言数学的表述方式和抽象性产生了全面的升华!F几何的抽象化实用直观抽象(a,b，c)按照现行的国际标准，线性代数是通过公理化、系统性表述的，具有很强的逻辑性、抽象性，是第二代数学模型.通常的教学模式概念——相应定理公式——例题求解直觉性丧失！向量表面上只是一列数，但是其实由于它的有序性，所以除了这些数本身携带的信息之外，还可以在每个数的对应位置上携带信息.线性空间中的任何一个对象，通过选取基和坐标的办法，都可以表达为向量的形式.向量是什么？向量是具有n个相互独立的性质（维度）的对象的表示问题矩阵是什么？矩阵的乘法规则怎样定义？矩阵的相似是什么意思？特征值的本质是什么？Axx1~PAPBA纯粹的数学理论描述、证明不能令人满意和信服！一、线性空间和矩阵的几个核心概念基本定义:存在一个集合，在这个集合上定义某某概念，然后满足某些性质”，就可以被称为空间.空间为什么要用“空间”来称呼一些这样的集合呢？奇怪!三维的空间1.由很多（实际上是无穷多个）位置点组成；2.这些点之间存在相对的关系；3.可以在空间中定义长度、角度；4.这个空间可以容纳运动.容纳运动是空间的本质特征“空间”是容纳运动的一个对象集合，而空间的运动由变换所规定.矩阵矩阵是什么？1.矩阵只是一堆数，如果不对这堆数建立一些运算规则.2.矩阵是一列列向量，如果每一列向量列举了对同一个客观事物的多个方面的观察值.3.矩阵是一个图像，它的每一个元素代表相对位置的像素值.4.矩阵是一个线性变换，它可以将一些向量变换为另一些向量.要回答“矩阵是什么”，取决于你从什么角度去看它.矩阵与线性变换在线性空间中，当选定一组基之后，不仅可以用一个向量来描述空间中的任何一个对象，而且可以用矩阵来描述该空间中的任何一个运动（变换）.也即对于任何一个线性变换，都能够用一个确定的矩阵来加以描述..在线性空间中选定基之后，向量刻画对象，矩阵刻画对象的运动.而使某个对象发生对应运动的方法，就是用代表那个运动的矩阵，乘以代表那个对象的向量.用矩阵与向量的乘法施加运动.矩阵是线性空间中的线性变换的一个描述线性变换不同于线性变换的一个描述对于同一个线性变换，选定一组基，就可以找到一个矩阵来描述这个线性变换；换一组基，就得到一个不同的矩阵.所有这些矩阵都是这同一个线性变换的描述，但又不是线性变换本身.同一个线性变换的矩阵具有性质：若A和B是同一个线性变换的两个不同矩阵，则一定存在非奇异矩阵P，使得即同一个线性变换在不同的坐标系下表现为不同的矩阵，但其本质相同，所以特征值相同.1APBP相似矩阵，就是同一个线性变换的不同的描述矩阵.或者说相似矩阵都是同一个线性变换的描述.线性变换可以用矩阵的形式呈现，也就是说，矩阵是形式，而变换——也就是各种映射才是本质，而代数的重要任务之一就是研究各种数学结构之间的关系——也就是映射.维线性空间里的方阵的个维向量如果线性无关，那么它们就可以成为度量维线性空间的一组基，事实上就是一个坐标系体系.矩阵与坐标系nnnnA1001A矩阵描述了一个坐标系1001bbIbb?MbMIbMb?bb()MbMIbMbaaaIab变换坐标Mb()MbMIbMb()()RMRMITI从变换的观点来看，对坐标系M施加R变换，就是对组成坐标系M的每一个向量施加R变换.从坐标系的观点来看，对坐标系M的每一个基向量，把它在I坐标系中的坐标找出来,然后通过R组成一个新的（坐标系）矩阵.MIT矩阵既是坐标系，又是变换.数学定义：矩阵就是由行列数放在一起组成的数学对象mn数学书上的语言是经过千锤百炼的。这种抽象的语言，精准的描述了人类对数学某些局部理解的精微.这些描述的语言可能可以有更完善的改进，就像编写的程序有些地方的语句可以改得更巧妙更坚固一样.数学容许我们每个人按自己的理解方式来理解,这就看你怎样对它加工，使它明确、使它华丽、使它完美.使它更易于理解和使用.这个过程也就是一个人学懂数学的过程.数无形时少直观,形无数时难入微,数形结合百般好,隔离分家万事休.--------华罗庚将抽象思维形象化将理论知识实用化二、矩阵的四个基本子空间记：1212mnnmA基本定义Columnspace(){:}nCAAxxRmR12,(,,)nspan135070001213519mnAn=5Rowspace(){:}TTmCAAxxRnR12(,,,)TTTmspan135070001213519mnAm=3dim()dim()TrankACACA135070001213519mnAr=2设A的行阶梯形为135070001200000mnRNotice()()CACR()RrrefABAR1ABR则存在可逆矩阵B使得m=3n=5r=2135070001200000mnRPivotrows1and2Pivotcolumns1and4dim()dim()2TrankRCRCR例1Nullspace(){:0,}nNAxAxxR123451350700012,,,,00000mnR有三个自由变量：方程235,,.xxx0Rx有解：223355xkkk(){:0,}nNRxRxxR355700,,1002012-31其中=000dim()523NRnrdim()NRnr方程组中，若不等于0且有解，则其解不会构成子空间，因为没有0元素.RxbbLeftnullspace(){:0,}TTmNRyRyyRLeftnullspace??00TTTRyyRdim()TNRmr1231,3,5,0,70,0,0,1,20,0,0,0,0yyy0,0,0,0,03(0,0,)()TyyNR33103012115A12=103=012（，，）（，，）33103012000R133231030120115xAXxx设由例2行基133231030120000xRxx12X=103X=0X=012（，，）（，，）X=012X,X12(,)LXTC(A)()NA(3,2,-1)(0,1,2)(1,0,3)T12C(A)(,)LN(A)例3123123246A1()()CAspan0TAy21y()()TNAspany()()TCANA则由解得则显然RowspaceallATyColumnspaceallAxNullspaceAx=0LeftnullspaceATy=0C(AT)dimrRnN(A)dimn-rRmC(A)dimrN(AT)dimm-r互为正交补AX=b有解bN(AT)RnRowspacerxrxbArnxxxb0nxAnullspaceLeftnullspaceActionofonArnxxxColumnspacexAnx例4若1236A分解43x得2241rnxx122110()3643TrAxCA1220()3610nAxNA三、矩阵的奇异值分解应用领域1.最优化问题；特征值问题；最小二乘问题；广义逆矩阵问题等.2.统计分析；信号与图像处理；系统理论和控制等.矩阵的正交对角分解若A是n阶实对称矩阵，则存在正交矩阵Q，使得(1)其中为矩阵A的特征值，而Q的n个列向量组成A的一个完备的标准正交特征向量系.对于实的非对称矩阵A，不再有像式（1）的分解，但却存在两个正交矩阵P和Q，使为对角矩阵，即有下面的正交对角分解定理.12(,,...)TnQAQdiag(1,2,...)iinTPAQ定理设非奇异，则存在正交矩阵P和Q，使得(2)其中证因为A非奇异，所以为实对称正定矩阵，于是存在正交矩阵Q使得，其中为特征值令,12()(,,...)TTnQAAQdiag0(1,2,...)iin12(,,...)TnPAQdiagnnARTAA0(1,2,...)iinTAA(1,2,...)iiin12(,,...)ndiag1()TAQAQ2()TTQAAQ1PAQ则有或者再令,于是有即P为正交矩阵，且使改写式(2)为(3)称式（3）为正交矩阵A的正交对角分解11()()TTPPAQAQI12(,,...)TnPAQdiag12(,,...)TnAPdiagQ引理：1.设则是对称矩阵，且其特征值是非负实数.2.3.设则的充要条件是(0),mnrrAC()TrankAArankATAA(0),mnrrAC0A0TAAArTAA定义设是秩为的实矩阵，mn的特征值为1210rrn则称为A的奇异值.(1,2,,)iiir(0)rr奇异值分解定理设A是秩为(0)rr的mn则存在阶正交矩阵实矩阵,mU与阶正交矩阵,V使得TSOUAVOO其中12diag(,,,)r(1,2,,)ir10r为矩阵A的全部奇异值.n①证明设实对称矩阵的特征值为A1210rrn则存在n阶正交矩阵，使得V12TT()nOVAAVOO将分块为V12()VVV其中，分别是的前r列与后列.1V2VVnr②并改写②式为2TOAAVVOO则有T2T112AAVVAAVO，由③的第一式可得③TT2T1111()()rVAAVAVAVE，或者由③的第二式可得T222()()AVAVOAVO或者令，则，即的r个列是两两正交的单位向量.记111UAVT11rUUE1U112(,,,)rUuuu因此可将扩充成的标准正交基，记增添的向量为，并构造矩阵则是m阶正交矩阵,且有于是可得12,,,ruuumC1,,rmuu21(,,)rmUuu12121(,)(,,,,,,)rrmUUUuuuuuTT1121rUUEUUO，TTT1121T2()()OUUAVUAVAVUOOOU，，TTTT111222rrrOAUVuvuvuvOO称上式为矩阵A的奇异值分解.在矩阵理论中，奇异值分解实际上是“对称矩阵正交相似于对角矩阵”的推广.奇异值分解中是的特征向量，而的列向量是的特征向量，并且与的非零特征值完全相同.但矩阵的奇异值分解不惟一.121,,,,,,rrmuuuuuTAAVTAATAATAA注意A数值秩在没有误差时，奇异值分解可以确定矩阵的秩.但是误差的存在使得确定变得非常困难.例如，考虑矩阵1/31/32/32/32/34/31/32/312/51/53/53/71/74/7A因为第三列是前两列的和，所以A的秩是2.如果不考虑到这个关系，运用IEEE标准的双精度浮点计算模式，用MATLAB命令SVD计算A的奇异值：1/31/32/32/32/34/31/32/312/51/53/53/71/