第五章--向量范数和矩阵范数

第五章向量范数和矩阵范数对于实数和复数，由于定义了它们的绝对值或模，这样我们就可以用这个度量来表示它们的大小（几何上就是长度），进而可以考察两个实数或复数的距离。对于维线性空间，定义了内积以后，向量就有了长度（大小）、角度、距离等度量概念，这显然是3维现实空间中相应概念的推广。利用公理化的方法，可以进一步把向量长度的概念推广到范数。n§1、向量范数一、从向量的长度或模谈起，当且仅当时，等号成立。、()xy?C例1复数的长度或模指的是量22||||xab显然复向量的模具有下列三条性质：||||xx(,)xabaibj==+(2)||||||||||;()xxR3||||||||||||xyxy（）。(1)x||||0x，当且仅当时，等号成立。22212||||(,)nxxxxxx显然向量的模也具有下列三条性质：例2维欧氏空间中向量的长度或模定义为xn||||xx、()nxy?R(2)||||||||||;()xxR3||||||||||||xyxy（）。(1)x||||0x二、向量范数的概念(2)()||||||||||;()xxF正齐性3()||||||||||||xyxyxyV（），角不、三等式(1)()||||0;||||0xxx正定性定义3如果是数域上的线性空间，对中的任意向量，都有一个非负实数与之对应，并且具有下列三个条件（正定性、正齐性和三角不等式）：则称是向量的向量范数，称定义了范数的线性空间为赋范线性空间。||||xxVVFxVÎV||||x拓扑空间线性空间Hausdorff空间赋范空间距离空间(度量空间)拓扑线性空间完备距离线性空间距离线性空间内积空间Hilbert空间Banach空间欧氏空间和各类空间的层次关系nRnC例4设是内积空间，则由V||||,,xVxxx??定义的是上的向量范数，称为由内积导出的范数。这说明范数未必都可由内积导出。例如后面介绍的和。||||V,gg||||1||||例5在赋范线性空间中，定义任意两向量之间的距离为则称此距离为由范数导出的距离。此时按此式定义了距离的满足度量空间的距离三公理（对称性、三角不等式和非负性），所以赋范线性空间按由范数导出的距离构成一个特殊的度量空间。||||V,,(,)||||dxyxyxyV??V(,)dgg三、常用的向量范数例6对任意，由定义的是上的向量范数，称为2-范数或范数，也称为Euclid范数。12(,,,)TnnxxxxF222122||||||||||nxxxx+º++L2||||nF2l例7对任意，由1/1,1||||||pnppiixxp=骣琪º琪琪琪桫³å定义的是上的向量范数，称为p-范数或范数。||||pnFpl12(,,,)TnnxxxxF例8对任意，由121||||||||||nxxxx++º+L定义的是上的向量范数，称为1-范数或范数或和范数，也被风趣地称为Manhattan范数。特别地，p=1时，有1||||nF1l12(,,,)TnnxxxxF遗憾的是，当时，由1/21||||||pppiixx=骣琪º琪琪琪桫å定义的不是上的向量范数。111222||||||||||||因为时，取，则111222||||||||1,||||4122,np(1,0),(0,1)TT||||pnF01p例9对任意，由||||max||iixx¥º定义的是上的向量范数，称为-范数或范数或极大范数。在广义实数范围内，P能否取到正无穷大呢？具体而言，如何计算这种范数呢？lim||||||||ppxx??¥º也就是||||nFl12(,,,)TnnxxxxF证明：验证是向量范数显然很容易。下证。令，则有1/1||||(||||||)||pppjipixxxx1/1/|||()|||pppjnxnx由极限的两边夹法则，并注意到，即得欲证结论。1/lim1ppn||max||iijxx||||max||iixxlim||||max||ppiixx例10计算向量1,2,.p=?(3,0,4,12)Tαii=--的p范数，这里解：141|||||||3||4||12|19.kkαxii===+-+-=å||||max||max(3,0,4,12)12.kkαx¥===42221212||||(||)|3||4||12|13.kkαxii===+-+-=å%ex501.mi=sqrt(-1);a=[3*i,0,-4*i,-12]';norm(a),norm(a,1),norm(a,'inf')ans=13ans=19ans=12这些范数在几何上如何理解呢？例11对任意，对应于四种范数的闭单位圆的图形分别为212(,)TxxxC||||1x£1,2,,p例12对任意，由定义的是上的向量范数，称为范数。特别地，范数、范数和范数分别为1L2LL1||()|||()|bpaftftdtºò22||()|||()|baftftdtºò||()||max|()|atbftft¥＃=()[,]ftCab1/||()|||(,)1|pbppaftftdtp骣琪º琪琪桫³ò[,]CabpL||||p·定义的是上的向量范数，称为加权范数或椭圆范数。例13若矩阵为Hermite正定矩阵，则由()()||||||||||||TAATxkkxAkxxkxkxA===?对于任意，有kC当时，；当时由对称正定知，即。Ax||0||Ax=xθ¹0HxAx||0||AxnC||,||HAnxxAxxCº?nnAC||||A·由于为Hermite正定矩阵，故存在酉矩阵，使得从而有2||)|||(|||ABxxyy++=12Λ(,,,)TnUAUdiagλλλ==L这里的特征值都为正数。ΛΛΛTTTAUBUUUB==?º此时2|||||||()|TTTATxAxxBBxBBxxxxB因此对任意，22||||||||||||||||AAxBByyx?++nyC(1,2,,)iλin=LAUA2()(|||||)|||HAWxWxWxx==这从几何上可以理解成求可逆变换的像的“长度”。这说明只要运算成立即可，因此对矩阵的要求可放宽为列满秩矩阵。W2||||WxWWx如果，此时，这就是加权范数或椭圆范数名称的由来。21/21||||(||)nAiiiwxx==å1(,,)nWdiagww=L一般地，由于是Hermite正定矩阵，从而存在Cholesky分解，即存在可逆矩阵（未必是酉矩阵），使得，因此WAHAWW=为李雅普诺夫（Lyapunov）函数，这里是正定对称矩阵。大家已经知道，此函数是讨论线性和非线性系统稳定性的重要工具。P在现代控制理论中，称二次型函数2()||||PHVxxPxx?例14（模式识别中的模式分类问题）2||||((,))()TxyxDxyyxy?=--模式分类的问题指的是根据已知类型属性的观测样本的模式向量，判断未知类型属性的模式向量归属于哪一类模式。其基本思想是根据与模式样本向量的相似度大小作出判断。最简单的方法是用两向量之间的距离来表示相似度，距离越小，相似度越大。最典型的是Euclidean距离1,,MssLxisxP其他距离测度还包括1111||tan(,)(,;max||;||)(;||;,)(,)njjjjjjnjjjnmmjjjManhatDxyChebyshevDxyMinkowskiDxyChebyshevDxyxyxyxyxy===ÄÄ???骣琪?琪琪çÄ桫Ä÷ååå距离距离距离距离以及与椭圆范数类似的Mahalanobis距离：12()Σ(,)(),TTdyyxyxx-?-这里是从正态母体中抽取的两个样本。(,Σ)Nμ,xy四、向量范数的性质22||||||||Uxx=定理15Euclid范数是酉不变的，即对任意酉矩阵以及任意，均有这个定理的结论是显然的，因为酉变换保持向量的内积不变，自然也保持了Euclid意义下的几何结构（长度、角度或范数等）不变。nxCÎnnUC´Î12||||||||||||βαβCxxCx＃注意这个结论对无限维未必成立。另外，根据等价性，处理向量问题（例如向量序列的敛散性）时，我们可以基于一种范数来建立理论，而使用另一种范数来进行计算。定理16有限维线性空间上的不同范数是等价的，即对上定义的任意两种范数，必存在两个任意正常数，使得V12,CC||||,||||αβggV§2、矩阵范数向量是特殊的矩阵，矩阵可以看成一个维向量，因此自然想到将向量范数推广到矩阵范数。mnmn一、矩阵范数的概念定义1对中的任意矩阵，都有一个非负实数与之对应，并且具有下列三个条件（正定性、正齐性和三角不等式,矩阵乘法相容性）：则称是矩阵的矩阵范数。(2)()||||||||||;()AAF正齐性(1)()||||0;||||0AAOA正定性3()||||||||||||mnABABABF三角不等式（），、||||AAmnF´A||||A(4)(矩阵乘法相容性)ABAB例2对任意，由111||||||mnijijmaA==º邋定义的是上的矩阵范数，称为范数。1||||mmnF1l()mnijAaF例3对任意，由1,1max||||||ijimjnmAa¥＃＃º定义的是上的（广义）矩阵范数，称为范数。||||mmnFl()mnijAaF例4对任意，由()1/22111/2|||()|||mnijFiHjtrAAAa==骣琪琪琪琪è=øº邋定义的是上的矩阵范数，称为范数，Euclid范数或Frobenius范数(F—范数)。||||FmnF2l()mnijAaF二、算子范数和范数的相容性矩阵不仅仅是向量，它还可以看成变换或算子。实际中，从算子或变换的角度来定义范数更加有用。定义5对中的任意矩阵，用一个非负实数表示对于任意向量，可以“拉伸”向量的最大倍数，即使得不等式成立的最小的数。称为范数和诱导出的矩阵范数或算子范数。mnF´A||||AnxFÎAx||||||||CxAxC||||A||||||||由矩阵范数的正齐性可知的作用是由它对单位向量的作用所决定，因此可以等价地用单位向量在下的像来定义矩阵范数，即||||1||||maxmax||||||||||||xxxAxAxA从几何上看，矩阵范数反映了线性映射把一个向量映射为另一个向量，向量的“长度”缩放的比例的上界。AA而且考虑到矩阵乘法的重要地位，因此讨论矩阵范数时一般附加“范数相容性”条件（这里的范数一般要求是同类的）：注意到即||||||||||||AABB,mnnpAFBF创??||||||||||||xAAx||||||||||||AAxx1||||||||||||AAmBFB，为或可以证明，前面给出的矩阵范数都满足“相容性条件”，即成立但是矩阵范数不满足“相容性条件”。例如对于矩阵1111A就有22||||||2||2|||1|mmmAAAœ||||m1||||||||mF、要使矩阵范数满足“相容性条件”，则可以修正其定义为：1,1max||||||ijimjnmanA¥＃＃º||||m在“相容性条件”中，如果而且范数与范数相同时，即如果有则称矩阵范数与向量范数是相容的。||||||||||||||||||||AAxxnBxF=?||||||||1/21212||||||minijjjAxxa==骣琪琪琪琪琪桫=åå1/2211||||nijjmijax==骣琪琪琪骣琪琪琪琪ç£琪桫÷桫åå证明：定理6上的矩阵F-范数与上的向量2-范数相容。mnFnF1/22121/211||||mnniijjjjax===骣骣琪琪琪琪琪琪琪琪桫=桫ååå2||||||||FAx=1/212211|