矩阵代数

1矩阵代数1向量与长度2矩阵及基本运算3行列式4逆矩阵、矩阵的秩及分块求逆5特征值、特征向量和矩阵的迹6正定矩阵、非负定矩阵和投影矩阵7特征值的极值问题8矩阵的微商和变换的雅可比行列式9消去变换21、向量与长度向量代数上：n个实数组成的数组几何上：一个n维空间中的有向线段向量X在Y上的投影记X=(x1,x2,…xn)’，Y=(y1,y2,…yn)’X在Y上的投影12(,,,)'nXxxx2,co,sXXYYXYYYYXYLLLLLLXYYL32、矩阵及基本运算111212122212qqpppqaaaaaaaaaAp×q矩阵：12paaaap维列向量：q维行向量：a′=(a1,a2,⋯,aq)向量a的长度：22212paaaaaa单位向量：1a4矩阵的类型零矩阵：A的所有元素全为零。上三角矩阵：方阵A的对角线下方的元素全为零，即，aij=0,ij。下三角矩阵：方阵A的对角线上方的元素全为零，即，aij=0,ij。对角矩阵：方阵A的所有非对角线元素均为零，则称A为，简记为A=diag(a11,a22,⋯,app)。（既是上三角又是下三角阵）。单位矩阵：p阶对角矩阵A的所有p个对角线元素均为1，则称A为p阶单位阵，记作A=Ip或A=I。对称矩阵：方阵A满足A′=A，显然，aij=aji。反对称矩阵：方阵A满足A′=-A，显然，aij=-aji。5矩阵的运算记A=(aij)：p×q，B=(bij)：p×q,则A与B的和定义为A+B=(aij+bij)：p×q若c为一常数，则它与A的积定义为cA=(caij)：p×q若B=(bij)：q×r,则A与B的积定义为1qikkjkabprAB：6正交矩阵向量的正交：若两个p维向量a和b满足(a,b)=a1b1+a2b2+⋯+apbp=0则称a和b正交。几何上，正交向量之间相互垂直。正交矩阵：方阵A满足AA′=I。性质：显然，，i=1,2,⋯,p，即A的p个行向量为单位向量；A的p个行向量相互正交；同理，A的p个列向量也是一组正交单位向量211pijja7正交矩阵A的几何意义将p维向量x看作是在Rp中的一个点，则x的各分量是该点在相应各坐标轴上的坐标。正交变换y=Ax意味着对原p维坐标系作一刚性旋转(或称正交旋转)，y的各分量正是该点在新坐标系下的坐标。当p=2时，按逆时针方向将直角坐标系x1Ox2旋转一个角度θ，所得新坐标系y1Oy2与原坐标系之间的变换为当p=3时同样有着直观的几何展示。保长变换：由于y′y=(Ax)′(Ax)=x′A′Ax=x′x故在新、旧坐标系下，该点到原点的距离保持不变。1122cossinsincosyxyxyAx8投影阵与幂等阵若方阵A满足A2=A，则称A为幂等矩阵。如下列矩阵：对称的幂等矩阵称为投影矩阵（如上述前两个矩阵）。101/21/211,,011/21/2009矩阵的分块设A=(aij)：p×q,将它分成四块，表示成其中A11：k×l，A12：k×(q−l)，A21：(p−k)×l，A22：(p−k)×(q−l)。分块矩阵满足一般矩阵的加法、乘法等运算律。分块加法：若A和B有相同的分块，则11122122AAAAA1111121221212222ABABABABAB10分块乘法：若C为q×r矩阵，分成其中C11：l×m，C12：l×(r−m)，C21：(q−l)×m，C22：(q−l)×(r−m)，则有11122122CCCCC111211122122212211111221111212222111222121122222AACCACAACCACACACACACACACAC113行列式p阶方阵A=(aij)的行列式定义为这里表示对1,2,⋯,p的所有排列求和τ(j1j2⋯jp)是排列j1,j2,⋯,jp中逆序的总数，称它为这个排列的逆序数。一个逆序是指在一个排列中一对数的前后位置与大小顺序相反，即前面的数大于后面的数。例如，τ(3142)=3。121212121pppjjjjjpjjjjaaaA12pjjj12行列式的基本性质若将A的某一行(或列)乘以常数c，则所得矩阵的行列式为c|A|。若将A的某一行(或列)的倍数加到另一行(或列)，则所得行列式不变。若A的某一行(或列)是其他一些行(或列)的线性组合，则行列式为零。若互换A的任意两行(或列)，则行列式符号改变。若A的某行(或列)为零，或某两行(或列)相同，则|A|=0。若A为上三角或下三角阵，则若A和B均为p阶方阵，则|AB|=|A||B|。1piiiaA13若A与B都是方阵，则若A：p×q，B：q×p，则|Ip+AB|=|Iq+BA|特例：设x,y为两个p维向量，则|Ip+xy′|=1+y′xACAABBCB0014代数余子式设A为p阶方阵，将其元素aij所在的第i行与第j列划去之后所得(p−1)阶矩阵的行列式，称为元素aij的余子式，记为Mij。Aij=(−1)i+jMij称为元素aij的代数余子式。用代数余子式计算行列式111100ppijijijijjippkjijikijjiaAaAaAkiaAkjA，154、逆矩阵、矩阵的秩及分块求逆一、逆矩阵若方阵A满足|A|≠0，则称A为非退化方阵；若|A|=0，则称A为退化方阵。设A=(aij)是一非退化方阵，若方阵C满足AC=I，则称C为A的逆矩阵，记为C=A−1，A−1必是一个非退化矩阵。逆矩阵表达式B′=(Aij)/|A|其中Aij是aij的代数余子式。性质：AB=BA=I。由于C=BAC=B，因此A−1是惟一的，且(A−1)−1=A。16逆矩阵的基本性质(1)AA−1=A−1A=I。(2)(A′)−1=(A−1)′。(3)若A和C均为p阶非退化方阵，则(AC)−1=C−1A−1(4)|A−1|=|A|−1。(5)若A是正交矩阵，则A−1=A′。(6)若A=diag(a11,a22,⋯,app)非退化(即aii≠0，i=1,2,⋯,p)，则(7)若A和B为非退化方阵，则11111122diag,,,ppaaaA111AABB000017二、矩阵的秩向量的相关性一组同维向量a1,a2,⋯,an，若存在不全为零的常数c1,c2,⋯,cn，使得c1a1+c2a2+⋯+cnan=0则称该组向量线性相关。若向量a1,a2,⋯,an不线性相关，就称为线性无关。线性空间及其基数矩阵的秩行秩：矩阵A的线性无关行向量的最大数目。列秩：矩阵A的线性无关行向量的最大数目。行秩和列秩必相等，故统称为A的秩，记rank(A)。18矩阵秩的基本性质(1)rank(A)=0，当且仅当A=0。(2)若A为p×q矩阵,且A≠0，则1≤rank(A)≤min{p,q}(3)rank(A)=rank(A′)。(4)若rank(A)=p,则称A为行满秩；若rank(A)=q,则称A为列满秩)。p阶方阵A是非退化的，当且仅当rank(A)=p(称A满秩)。(5)rank(AB)≤min{rank(A),rank(B)}。(6)若A为列满秩和C为行满秩矩阵，则rank(ABC)=rank(B)(7)(8)rank(AA′)=rank(A′A)=rank(A)。rankrank=rankrankAAABBB000019三、分块求逆设A为p阶满秩矩阵，分块如下：其中A11为r×r矩阵，A22为s×s矩阵，r+s=p。若A11满秩，作线性变换记：因此，若A22满秩，同理。11122122AAAAA122122211112AAAAA1112111212122222111120AAAAAAAAAA11221||||||AAA204.1特征值和特征向量设A是p阶方阵，若对于一个数λ，存在一个p维非零向量x，使得Ax=λx，则称λ为A的一个特征值或特征根，而称x为A的属于特征值λ的一个特征向量。根据定义，(A−λI)x=0，而x≠0，方程有非零解。故|A−λI|=0|A−λI|是λ的p次多项式，称为特征多项式。上式有p个根(可能有重根)，记作λ1,λ2,⋯,λp。反过来，若λi是特征式的一个根，则A−λiI为退化矩阵，故存在一个p维非零向量xi，使得(A−λiI)xi=0即λi是A的一个特征值，而xi是相应的特征向量。求特征值l等价于求特征多项式的根。标准化：一般取xi为单位向量，即满足xi′xi=1。21例：求特征值3,10)3)(1(310131010)(21lllllllllIAAxIAxAx22例：求特征向量10,000102312,00210010)(22121211xxxIAxxxxiilll23特征值和特征向量的基本性质(1)A和A′有相同的特征值。(2)若A和B分别是p×q和q×p矩阵，则AB和BA有相同的非零特征值。(3)若A为实对称矩阵，则A的特征值全为实数，p个特征值按大小依次表示为λ1≥λ2≥⋯≥λp。若λi≠λj，则相应的特征向量xi和xj必正交，即xi′xj=0。(4)若A=diag(a11,a22,⋯,app)，则a11,a22,⋯,app为A的p个特征值，相应的特征向量分别为e1=(1,0,⋯,0)′，e2=(0,1,0,⋯,0)′，⋯，ep=(0,⋯,0,1)′。(5)，A的行列式等于其特征值的乘积。因此，A为非退化矩阵，当且仅当A的特征值均不为零；A为退化矩阵，当且仅当A至少有一个特征值为零。1piilA24(6)若A为正交矩阵，则A的特征值为1或−1；若A为幂等矩阵，则A的特征值为0或1。(7)特征值分解：若A为p阶对称矩阵，则存在正交矩阵Γ及对角矩阵Λ=diag(λ1,λ2,⋯,λp)，使得A=ΓΛΓ′上式两边右乘Γ，得AΓ=ΓΛ将Γ按列向量分块，并记作Γ=(t1,t2,⋯,tp)，于是有(At1,At2,⋯,Atp)=(λ1t1,λ2t2,⋯,λptp)λ1,λ2,⋯,λp是A的p个特征值，而t1,t2,⋯,tp为相应的(一组正交单位)特征向量。25谱分解和奇异值分解实对称阵A的谱分解：一般矩阵的奇异值分解：若A为p×q实数矩阵，则存在p阶正交矩阵U和q阶正交矩阵V，使得A=UΛV′其中Λ的(i,i)元素λi≥0，i=1,2,⋯,min(p,q)，其他元素均为零。正数λi称为A的奇异值。11221210=,,,0ppiiiippllllttAΛtttttt26二、矩阵的迹设A为p阶方阵，则它的对角线元素之和称为A的迹，记作tr(A)，即tr(A)=a11+a22+⋯+app方阵的迹具有下述基本性质：(1)tr(AB)=tr(BA)。(2)tr(A)=tr(A′)。(3)tr(A+B)=tr(A)+tr(B)。(4)。(5)设A=(aij)为p×q矩阵，则11trtrkkiiiiAA211trtrpqijijaAAAA27(6)设λ1,λ2,⋯,λp为方阵A的特征值，则tr(A)=λ1+λ2+⋯+λp证明：（仅证A对称的情形）利用特征值分解A=TΛT′因此，tr(A)