第3章 矩阵的分解

第3章、矩阵的分解MatrixFactorizationandDecomposition矩阵分解的概述矩阵的分解：A=A1+A2+…+Ak矩阵的和A=A1A2…Am矩阵的乘积矩阵分解的原则：实际应用的需要理论上的需要计算上的需要显示原矩阵的某些特性矩阵化简的方法之一主要技巧：各种标准形的理论和计算方法矩阵的分块§3.1常见的矩阵标准形与分解常见的标准形等价标准形相似标准形合同标准形本节分解：三角分解满秩分解可对角化矩阵的谱分解nnrmmnmQ000IpA1AnnPPJATnnCCAAT=A相似标准形等价标准形一、矩阵的三角分解方阵的LU和LDV分解（P.61）LU分解：AFnn，存在下三角形矩阵L，上三角形矩阵U，使得A=LU。LDV分解：AFnn，L、V分别是主对角线元素为1的下三角形和上三角形矩阵，D为对角矩阵，使得A=LDV。已知的方法：Gauss-消元法例题1（P.61eg1）设求A的LU和LDV分解。结论：如果矩阵A能用两行互换以外的初等行变换化为阶梯形，则A有LU分解。542774322A三角分解的存在性和惟一性定理3.1（P.62）：•矩阵的k阶主子式：取矩阵的前k行、前k列得到的行列式，k=1，2，…，n。•定理:AFnn有惟一LDV分解的充要条件是A的顺序主子式Ak非零，k=1，2，…，n-1。•证明过程给出了LDV分解的一种算法。定理3.2（P.64）设矩阵AFnn，rank（A）=k（n），如果A的j阶顺序主子式不等于0，j=1，2，…，k,则A有LU分解。定理条件的讨论例题2（P.65eg2）LU分解的应用举例二、矩阵的满秩分解定义3.2（P.66）对秩为r的矩阵AFmn，如果存在秩为r的矩阵BFmr，CFrn，则A=BC为A的满秩分解。实用方法：方法3例题2（P.69，eg5）列满秩行满秩定理3.2：任何非零矩阵AFmn都有满秩分解。满秩分解的求法：方法1：方法2例题1（P.68，eg4）方法3例题3（P.70，eg6）三、可对角化矩阵的谱分解将方阵分解成用谱加权的矩阵和谱：设AFnn，则A的谱={1，2，，s}。s21rsr2r1)()()(AIis1iiPA，P具性质：IPis1ii2iPPji0PPji1.可对角矩阵的谱分解分解分析：分解结果：幂等矩阵意义：可对角化矩阵可以分解成以谱加权的幂等矩阵的加权和2、矩阵可以对角化的一个充要条件定理3.5（P.73）矩阵A可以相似对角化当且仅当矩阵A有谱分解，满足条件：is1iiPAi2iPPji0PPjiIPisi1充分性的证明：在A有谱分解时Cn=V1V2Vn3.幂等矩阵的性质定理3.4（P.72）PFnn，P2=P，则矩阵PH和矩阵（I–P）仍然是幂等矩阵。P的谱{0，1}，P可相似于对角形。Fn=N（P）R（P）N（P）=V=0，R（P）=V=1P和（I–P）的关系N（I–P）=R（P），R（I–P）=N（P）Hermite矩阵的谱分解定理3.6（P.73）设A是秩为k的半正定的Hermite矩阵，则A可以分解为下列半正定矩阵的和。A=v1v1H+v2v2H+…vkvkH§3.2Schur分解和正规矩阵已知：欧氏空间中的对称矩阵A可以正交相似于对角形。讨论：一般方阵A，在什么条件下可以酉相似于对角矩阵？在内积空间中讨论问题，涉及：空间Cn、Cnn，酉矩阵U，UHU=I，U–1=UH酉相似：UHAU=JU–1AU=J重点：理论结果一、Schur分解1、可逆矩阵的UR分解定理3.7（P.74）ACnn为可逆矩阵，则存在酉矩阵U和主对角线上元素皆正的上三角矩阵R，使得A=UR。（称A=UR为矩阵A的酉分解）证明：源于Schmidt正交化方法。例题1求矩阵A的UR分解，其中122171282A定理3.8（P.76）：设矩阵ACmn是列满秩的矩阵，则矩阵A可以分解为A=QR，其中QCmn的列向量是标准正交的向量组，RCnn是主对角线上元素为正数的上三角形矩阵。QR分解2、Schur分解定理3.7（P.74）对矩阵ACnn，存在酉矩阵U和上三角矩阵T，使得UHAU=T=n21证明要点：A=PJAP–1，P=URA=PJAP–1=U（RJR–1）UH=UTUH。二、正规矩阵（NormalMatrices）1、定义3.3（P.77）A是正规矩阵AHA=AAH。常见的正规矩阵：对角矩阵对称和反对称矩阵：AT=A，AT=–A。Hermite矩阵和反Hermite矩阵：AH=A，AH=–A正交矩阵和酉矩阵：ATA=AAT=I，AHA=AAH=I。例题1（P.78，eg10）设A为正规矩阵，B酉相似于A，证明B也是正规矩阵。正规是酉相似的不变性质例题2、AFmn，矩阵AHA和矩阵AAH是正规矩阵。2、正规矩阵的基本特性定理3.10（P.78）：ACnn正规A酉相似于对角形。推论：正规ACnnA有n个标准正交的特征向量构成空间Cn的标准正交基。定理3.11（P.80）（正规矩阵的谱分解）A正规A有如下谱分解：is1iiPAIPis1iiHii2iPP,PPji0PPjiHermite性3、正规性质的应用举例例题1（P.79，eg12）例题2设ARnn，AT=–A，证明1.A的特征值是零和纯虚数。2.矩阵A的秩是偶数。§33矩阵的奇异值分解Singularvaluedecomposition(SVD)§33矩阵的奇异值分解概述：矩阵的奇异值分解是酉等价型的分解:ACm×n，酉矩阵UCm×m,VCn×n,使得A=UVH。矩阵A等价于=nm000奇异值分解基本适用于内积空间中与矩阵秩相关的问题A的奇异值分解依赖于正规矩阵AHA的酉相似分解的。r21一、矩阵A的奇异值及其性质1、矩阵AHA和AAH的性质：ACm×n，AHACn×n，AAHCm×m，都是Hermite矩阵。定理312（P82）1.秩（A）＝秩（AHA）=秩（AAH）。2.AHA和AAH的非零特征值相等。3.AHA和AAH是半正定矩阵。AHA和AAH的特征值是非负实数：12n2、奇异值的定义：（P72）ACm×n，秩（A）=r，设AHA的特征值12r0，r+1=r+2==n=0，则矩阵的奇异值.r,...,,i,ii213、特殊矩阵的奇异值：定理313（P82）：正规矩阵A的奇异值等于A的特征值的模长。正定的Hermite矩阵A的奇异值就是A的特征值。酉等价矩阵的奇异值相等。A和B酉等价，则AHA和BHB酉相似。奇异值是酉等价的不变性质。二、矩阵的奇异值分解1、定理314（P83）任何矩阵ACm×n，秩（A）=r，则存在酉矩阵UCm×m，VCn×n，使得Hr21V000UA证明思想：AHA正规，VHAHAV=，酉矩阵V。02•令，i=1，2，…，r，得U1=[u1，u2，…，ur]扩充为标准正交基酉矩阵U。iiiAvur21例题1求矩阵A的奇异值分解，A=。011011000110101例题2（P84，eg13）求矩阵A的奇异值分解，A=2、矩阵U，V的空间性质：V=[v1，v2，，vr，，vn]=[V1V2]Cn×n的列向量是空间Cn的标准正交基。V2的列向量是空间N（A）的标准正交基。V1的列向量是空间N（A）的标准正交基。U=[u1，u2，，ur，，um]=[U1U2]Cm×m的列向量是空间Cm的标准正交基。U1的列向量是R（A）的标准正交基。U2的列向量是R（A）的标准正交基。3、奇异值分解的展开形式及其应用定理315（P87）HrrrH222H111vuvuvuA左奇异向量右奇异向量例题：图像的数字化技术与矩阵的奇异值分解计算机处理图像技术的第一步是图像的数字化存储技术，即将图像转换成矩阵来存储。转换的原理是将图形分解成象素（pixels）的一个矩形的数阵，其中的信息就可以用一个矩阵A=（aij）m×n来存储。矩阵A的元素aij是一个正的数，它相应于象素的灰度水平（graylevel）的度量值。由于一般来讲，相邻的象素会产生相近的灰度水平值，因此有可能在满足图像清晰度要求的条件下，将存储一个m×n阶矩阵需要存储的m×n个数减少到n+m+1的一个倍数。压缩数字化图形存储量的方法主要是应用矩阵的奇异值分解和矩阵范数下的逼近。如果图象的数字矩阵A的奇异值分解为：A=UVT，其展开式：压缩矩阵A的方法是取一个秩为k（kr）的矩阵Ak来逼近矩阵A。Ak按如下方法选取：HrrrH222H111vuvuvuAHkkkH222H111kvuvuvuA有在秩为k（kn）的所有矩阵中，矩阵Ak所对应的图象和矩阵A所对应的图象最相近。一般的，k越大图象就越清晰。经典的方法是选取接近k，使Ak的存储量比A的存储量减少20%。存储矩阵Ak只需要存储k个奇异值，k个m维向量ui和n维向量vj的所有分量，共计k（m+n+1）个元素。如果m=n=1000，存储原矩阵A需要存储1000×1000个元素。取k=100时，图象已经非常清晰了，这时的存储量是100（2000+1）=200100个数。和矩阵A比较，存储量减少了80%。三、矩阵的奇异值分解和线性变换TA矩阵ACm×n可以定义线性变换TA：CnCm设矩阵的奇异值分解A=UVH，则将U和V的列分别取做空间Cm、Cn的基，则变换TA的矩阵为:=VXCm,则TAX=(UVH)VX=U(X)=U02211rrxxx变换TA在单位球上的象：定理316（P88）四、矩阵的极分解（PolarDecomposition）方阵的极分解设矩阵ACn×n，则矩阵A的奇异值分解:A=UVH=U（UHU）VH=（UUH）UVH=PQP是半正定的Hermite矩阵，P相似于。Q是酉矩阵定理317（P89）方阵极分解的意义和应用描述变换Y=AX的拉伸和扭曲例题1（P90）求矩阵A=的极分解，依此讨论变换Y=AX的几何特性。302325232325PQA23212123解