矩阵论的应用

信通院学号：B098035姓名：刘雯雯矩阵论及其应用1/8广义逆在多元分析中的应用刘雯雯信通院学号：B098035摘要：多元分析的一个重要内容就是研究随机向量之间的关系，在一元统计中，用相关系数来描述随机变量之间的关系，Hotelling[1]和张尧庭教授[2]先后定义了度量两个随机向量相关程度的数量指标，并称之为广义相关系数。这一章主要利用Moore-Penrose广义逆矩阵来引人了随机向量之间的相关系数—广义相关系数，并探讨了随机向量的典型相关系数和广义相关系数之间的关系。关键词：特征值广义相关系数典型相关系数正交阵可逆矩阵1.引言矩阵概念和线性代数学科的引进和发展是源于研究线性方程组系数而产生的行列式的发展.莱布尼兹,微积分学的两个奠基者之一,在1693年使用了行列式,克莱姆于1750年提出了用行列式求解线性方程组的公式(即今天著名的克莱姆法则).相对比地,行列式的隐含使用最早出现在18世纪晚期拉格郎日关于双线性型的著作里.拉格郎日希望刻画多变量函数的极大值与极小值.他的方法今天以拉格郎日乘数法闻名.为此,他首先要求第一个偏导数为0,再需要关于第二个偏导数的矩阵成立一个条件.这个条件今天称之为正定或负定,尽管拉格郎日没有明显地使用矩阵.在1800年左右,高斯发现了高斯消去法,他用此方法解决了天体计算和后来大地测量(关于测量或确定地球形状或定位地球表面一个点的应用数学分支,称之为大地测量学)计算中的最小平方问题.尽管高斯的名字相伴随从线性方程组逐次逍去变量的这项技术,但从发现的早在几个世纪前的中文手稿中解释了如何用高斯的消去法解带有三个未知量的三个方程构成的线性方程组.多年来,高斯消去法被认为是大地测量学,而非数学,发展的一部分.首次印刷出来的高斯—约当消去法是在W.约当写的关于大地测量学的手册里.许多人错误地认为著名数学家C.约当是高斯—约当消去法中的约当.为了矩阵代数的丰富发展,人们既需要适当的概念,还需要适当的矩阵乘法.这两种需要在同一时间和同一地点交汇了.在1814年于英格兰,J.J.西勒维斯特首先引进了术语Matrix,作为一列数的名称,这是胚胎的拉丁词.矩阵代数于1855年由亚瑟凯莱的工作得到了发展.凯莱研究了线性变换的合成,导致定义了矩阵乘法,使得合成变换ST的系数矩阵是S的矩阵与T的矩阵的乘积.他继续研究这些合成包括矩阵逆的代数.著名的凯莱—哈密尔顿定理断言,一个方阵是它的特征多项式的根.这个定理于1858年在凯莱的关于矩阵理论备忘录的著作里给出.代表矩阵的单个字母A的使用对于矩阵代数的发展是关键的.早期的公式det(AB)=det(A)det(B)提供了矩阵代数与行列式的联系.凯莱写下了有许多事情说明关于矩阵的理论,似乎对我而言,比行列式理论重要.数学家们也试图发展向量代数,但没有任意维数的两个向量积的自然定义.涉及到非交换向量积(亦即VW×不一定等于WV×)的第一个向量代数由赫尔曼格拉斯曼在他的书维数理论(1844)提出来的.格拉斯曼的书也引进了一个列矩阵与一个行矩阵的乘积,导致了今天所谓的单纯的或秩1的矩阵.在19世纪晚期,美国数学物理学家W.吉布斯发表了关于向量分析的著名论文.在那篇论文里,吉布斯把一般的矩阵,他称之为并向量(dyadics),表示为单纯矩阵(吉布斯称为并向量(dyads))的和.后来物理学家P.A.M.迪拉克引进了术语行-列(bra-ket)来表示我们现在称之为行向量乘以列向量的纯量积,术语列-行(ket-bra)表示一列向量乘以行向量的积,从而导致如同上信通院学号：B098035姓名：刘雯雯矩阵论及其应用2/8面的我们现在称做的单纯矩阵.我们现在把列矩阵和向量视为同一的习惯是由物理学家们在20世纪引进的.矩阵一直与线性变换紧密结合着.直到1900年,它们仅仅是线性变换理论的有限维的情形.向量空间的现代定义是由皮亚诺于1888年引进的.不久,其元素是函数的抽象向量空间跟着出现了.第二次世界大战后随着数字计算机的发展,矩阵,特别是矩阵的数值分析方面有新的进展.约翰冯诺伊曼和赫尔曼戈德斯坦于1947年在分析舍入误差中引进了条件数.阿兰图灵和冯诺伊曼在程序存储计算机方面是二十世纪的巨人.图灵于1948年引进了矩阵的LU分解,L是对角线上为1的下三角矩阵,U是梯形矩阵.在解一系列线性方程组时普遍采用LU分解,每个方程组有同一系数矩阵.QR分解的好处是在10年后认识到的.Q是其列为正交向量的矩阵而R是上三角矩阵,其对角线元素是正的.QR分解用于各种计算如解方程,找特征值的计算机算法中.矩阵理论在数值计算、线性规划、数据分析、科学试验、信号传输等重大领域有着极其广泛的应用。随着科技日新月异地进步，人类社会开始步入信息化、数字化时代，矩阵在生产实践中的应用越来越广泛，矩阵理论的研究也就越来越重要[1]。矩阵理论在现代统计学的许多分支有着广泛的应用，成为统计学中不可缺少的工具，而且，随着研究的深入和应用的发展，矩阵与统计学之间的关系会越来越深刻。一方面，统计学对矩阵研究提出了许多新的研究课题，刺激了有关矩阵理论研究的发展;另一方面，矩阵理论中的结果被越来越多地应用于统计学的理论研究及其应用中。近三十年，许多统计学家致力于这方面的研究，并撰写了很多这方面的论文和著作，其中很多结论在统计学的研究中发挥着很大的作用。近三十年矩阵研究中一些与统计学有密切关系的新发展，包括它们在统计中的应用，这些研究结果一开始就渊源于统计问题。本文皆在向读者介绍矩阵论中并与统计学密切有关的如下几个方面：矩阵偏序、矩阵不等式、广义逆矩阵等，这些方面与统计学息息相关，特别是在多元分析和线性模型参数估计中都有着重要的应用。广义逆矩阵是对逆矩阵的推广。广义逆矩阵是上世纪矩阵理论的一项极为重要的新发展[7]，广义逆的概念最早由Redholm于1908年提出的，他给出TFredholm积分算子的广义逆，Hurwitz于1912年利用有限维Fredholm积分算子的零空间给出了此类广义逆的一个简单的代数表征，Hilbert于1904年讨论广义Green函数时曾提出了微分算子的广义逆，之后许多学者研究了微分算子的广义逆，特别是Myller、westfall、Reid等。1920年，Moore首次提出了矩阵的广义逆，他利用投影矩阵定义了唯一的广义逆。Bjerhammer在不知道Moore结果的情形下，重新提出了广义逆矩阵的定义，利用广义逆给出了线性方程组的解。Bott和Duffin在研究电网络理论时，引进了后来被称为Bott-Duffin广义逆。但这时期的研究工作是零散的。在Penrose1955年证明了Moore所定义的广义逆是满足四个矩阵方程的唯一的矩阵之后，广义逆矩阵得到迅速发展并在应用学科的诸多领域获得广泛的应用。近四十年来，广义逆矩阵理论在最优化、数理统计、算子理论、经济学和计算数学等众多数学分支和工程科技领域发挥了重大作用。尤其在研究最小二乘问题、病态线性、非线性问题，回归，分布估计，多元分析等统计问题，规划问题，控制论，网络问题的过程中，广义逆是不可或缺的研究工具。若A为非奇异矩阵,则线性方程组Ax=b的解为x=A^(-1)b，其中A的A的逆矩阵A^(-1)满足A^(-1)A=AA^(-1)=I(I为单位矩阵)。若A是奇异阵或长方阵,Ax=b可能无解或有很多解。若有解,则解为x=Xb+(I-XA)у,其中у是维数与A的列数相同的任意向量,X是满足AXA=A的任信通院学号：B098035姓名：刘雯雯矩阵论及其应用3/8何一个矩阵，通常称X为A的广义逆矩阵,用A^g、A^-或A^(1)等符号表示,有时简称广义逆。当A非奇异时,A^(-1)也满足AA^(-1)A=A,且x=A^(-1)b+(I-A^(-1)A)у=A^(-1)b。故非异阵的广义逆矩阵就是它的逆矩阵，说明广义逆矩阵确是通常逆矩阵概念的推广。1955年R.彭罗斯证明了对每个m×n阶矩阵A,都存在惟一的n×m阶矩阵X，满足：①AXA=A；②XAX=X；③(AX)*＝AX；④(XA)*＝XA。通常称X为A的穆尔-彭罗斯广义逆矩阵,简称M-P逆，记作A^+。当A非奇异时，A^(-1)也满足①～④,因此M-P逆也是通常逆矩阵的推广。在矛盾线性方程组Ax＝b的最小二乘解中,x＝A^(-1)b是范数最小的一个解。广义逆的计算方法大致可分为三类：以满秩分解和奇异值分解为基础的直接法，迭代法和其他一些常用于低阶矩阵的非凡方法。本文介绍了Moore-Penrose广义逆在多元分析中的应用。多元分析的一个重要内容就是研究随机向量之间的关系。对于不同类型的矩阵A和B，讨论了随机向量和y的典型相关系数与Ax和By的典型相关系数之间的关系，从而得到了x和y的广义相关系数与Ax和By的广义相关系数之间的关系。设x,y分别为p×1和q×1随机向量，它们的方差阵和协方差阵分别为()()()TxxVxExExxExV()()()TyyVyEyEyyEyV(,)()()TxyyxCovxyExExyEyVV从而()(,)(,)()xxxyyxyyVVxVxCovxyVVVyCovyxVy（1.1）矩阵V+yyVyxV+xxVxy的特征值都是非负的且都不大于1,非零特征值设为222110...1rr。其中矩阵A+表示A的Moore-Penrose广义逆。由典型相关系数的定义知，12,,...,r称为典型相关系数，它在典型相关分析中起着重要作用。2.广义逆矩阵广义逆矩阵的研究可以追溯到1935年的Moore的著名论个条件：,,(),(),AXAAXAXXAXAXXAXA定义了A的广义逆X。但是，在此后的20年中，这种广义逆几乎没有引起×人们的多少注意，直到1955年，Penrose证明了满足上述条件的广义逆具有唯一性后，广义逆的研究才真正为人们所重视，基于这个原因人们把满足上述四个条件的的广义逆称为Moore-Penrose广义逆。本节主要介绍以下两种经常应用的广义逆：2.1广义逆A-定义2.1对矩阵Am×n,一切满足方程组信通院学号：B098035姓名：刘雯雯矩阵论及其应用4/8AXAA的矩阵X，称为矩阵A的广义逆，记为A-。下面的定理解决了A-的存在性和构造性问题。定理2.1设A为m×n矩阵，rk(A)=r，若000rIAPQ这里P和Q分别为m×m，n×n的可逆阵，则000rIAQP这里B，C和D为适当阶数的任意矩阵。下面的两个定理圆满地解决了用广义逆矩阵表示相容线性方程组集的问题。定理2.2设Ax=b为一相容方程组，则(1)对任一广义逆A-，x=A-b必为解；(2)齐次方程组Ax=0的通解为x=(I-A-A)z，这里z为任意的向量，A-为任意固定的一个广义逆；(3)Ax=b的通解为()xAbIAAz其中A-为任意固定的一个广义逆，z为任意的向量。定理2.3设Ax=b为相容线性方程组，且b≠0，那么，当A-取遍A的所有广义逆时，x=A-b构成了该方程组的全部解。下面一定理讨论分块矩阵的广义逆。定理2.4(分块矩阵的广义逆)(1)若A11-1存在，则1111111211111222.12111111222.11212222.1211122.1AAAAAAAAAAAAAAAAA(2)若A22-1存在，则1111211.211.2122211112122222111.222222111.21222AAAAAAAAAAAAAAAAA(3)若111221220AAAAA则111111111222.12111111222.1122.1211122.1AAAAAAAAAAAAAA信通院学号：B098035姓名：刘雯雯矩阵论及其应用5/8或111.211.212221111222111.2222221