第五章--范数及其应用

第五章范数及其应用虽然在微积分开端时期贝克莱将无穷小称为“上帝的幽灵”，进而导致“第二次数学危机”，直到柯西的“极限论”和戴德金等的“实数理论”的出现危机才算彻底解决。但微积分在近代社会的巨大作用我们早已深有体会，将微积分中的极限、导数、积分、级数等分析思想和方法应用于矩阵的研究，自然就在情理之中。对于实数和复数，由于定义了它们的绝对值或模，这样我们就可以用这个度量来表示它们的大小（几何上就是长度），进而可以考察两个实数或复数的距离。对于维线性空间，定义了内积以后，向量就有了长度（大小）、角度、距离等度量概念，这显然是3维现实空间中相应概念的推广。利用公理化的方法，可以进一步把向量长度的概念推广到范数。n§1、从向量范数到矩阵范数一、从向量的长度或模谈起，当且仅当时，等号成立。、()xy?C例1复数的长度或模指的是量22||||xab显然复数的模具有下列三条性质：||||xx(2)||||||||||;()xxR3||||||||||||xyxy（）。(1)||||0x(,)1xababi==??x0，当且仅当时，等号成立。22212||||(,)nxxxxxx显然向量的模也具有下列三条性质：例2维欧氏空间中向量的长度或范数定义为xn||||xx、()nxy?R(2)||||||||||;()xxR3||||||||||||xyxy（）。(1)||||0xx0nR(2)()||||||||||;()xxF正齐性3()||||||||||||xyxyxyV（），角不、三等式(1)()||||0;||||0xxx正定性定义3如果是数域上的线性空间，对中的任意向量，都有一个非负实数与之对应，并且具有下列三个条件（正定性、正齐性和三角不等式）：则称是向量的向量范数，称定义了范数的线性空间为赋范线性空间。||||xxVVFxVÎV||||x:VR:()xxffx例4设是内积空间，则由V||||,,xVxxx??定义的是上的向量范数，称为由内积导出的范数。这说明有内积必有范数，有范数则未必有内积，即范数未必都可由内积导出。例如后面介绍的范数和都不是由内积导出的范数。||||V,gg||||1||||例5在赋范线性空间中，定义任意两向量之间的距离为则称此距离为由范数导出的距离。此时按此式定义了距离的满足度量空间的距离三公理（对称性、三角不等式和非负性），所以赋范线性空间按由范数导出的距离构成一个特殊的度量（距离）空间。||||V,,(,)||||dxyxyxyV??V(,)dggV拓扑空间线性空间Hausdorff空间赋范空间距离空间(度量空间)拓扑线性空间完备距离线性空间距离线性空间内积空间Hilbert空间Banach空间欧氏空间和各类空间的层次关系nRnC二、常用的向量范数例6对任意，由定义的是上的向量范数，称为2-范数或范数，也称为Euclid范数。222122||||||||||nxxxx+º++L2||||nF2l12(,,,)TnnxxxxC=?L例7对任意，由1/1,1||||||pnppiixxp=骣琪º琪琪琪桫³å定义的是上的向量范数，称为p-范数或范数或Holder范数。||||pnFpl12(,,,)TnnxxxxC=?L121||||||||||nxxxx++º+L定义的是上的向量范数，称为1-范数或范数或和范数，也被风趣地称为Manhattan范数。特别地，p=1时，有1||||nF1l例8对任意，由12(,,,)TnnxxxxC=?LABC遗憾的是，当时，由1/21||||||pppiixx=骣琪º琪琪琪桫å定义的不是上的向量范数。111222||||||||||||因为时，取，则111222||||||||1,||||4122,np(1,0),(0,1)TT||||pnF01p定义的是上的向量范数，称为-范数或范数或极大范数。在广义实数（即将“无穷”看成数）范围内，P能否取到正无穷大呢？具体而言，如何计算这种范数呢？lim||||||||ppxx??¥º||||nFl例9对任意，由12(,,,)TnnxxxxR=?L（1）正定性：limlim||ppppkxkxkx0lim||||||||ppxx??¥º0xlim||||||||ppxx??¥º0（2）正齐性：||lim||ppkxkx（3）三角不等式：limppxyxylimpppxylimlimppppxyxy令maxjiixx12pppnxxxpjxpjnx1/121/ppppjpnjxxxxnx1lim||||||||ppxx??¥ºmaxjiixx例10计算向量1,2,.p=?=--(3,4,0,12)Tαii的p范数，这里解：141|||||||3||4||12|19.kkαxii===+-+-=å¥===||||max||max(3,4,0,12)12.kkαx42221212||||(||)|3||4||12|13.kkαxii===+-+-=å%exm501.ma=[3*i,-4*i,0，-12]';norm(a),norm(a,1),norm(a,'inf')ans=13ans=19ans=12这些范数在几何上如何理解呢？例11对任意，对应于四种范数的闭单位圆的图形分别为212(,)TxxxC||||1x£1,2,,p定义的是上的向量范数，称为加权范数或椭圆范数。例12若矩阵为正定Hermite矩阵，则由对于任意，有kC当时，；当时由知，即。||0||Ax=0HxAx||0||AxnC||,||HAnxxAxxCº?||||AgnnAC´Î()()||||||||||||HAAHxkkxAkxxkxkxA===?=0x¹0x0A由于，故存在酉矩阵，使得从而有这里的特征值都为正数。因此对任意，nyC(1,2,,)iλin=LAU12ΛΛ(,,,)HnUUdiagλλλ==L0A即定理2.4.9==缀ΛΛΛHHHAUUUUWW====2(,)HHAHxAxxWWxWxWxxWx=++2()AWxxyy?+=22AAxWyxWy2()(|||||)|||HAWxWxWxx==从几何上可以理解成求可逆变换的像的“长度”。这说明只要运算成立即可，因此对矩阵的要求可放宽为列满秩矩阵。W2||||WxWWx如果，此时这就是加权范数或椭圆范数名称的由来。21/21||||(||)nAiiiwxx==å1(,,)nWdiagww=LWx为李雅普诺夫（Lyapunov）函数，这里是正定Hermite矩阵。大家已经知道，此函数是讨论线性和非线性系统稳定性的重要工具。P在现代控制理论中，称二次型函数2()||||PHVxxPxx?例13（模式识别中的模式分类问题）2||||((,))()TxyxDxyyxy?=--模式分类的问题指的是根据已知类型属性的观测样本的模式向量，判断未知类型属性的模式向量归属于哪一类模式。其基本思想是根据与模式样本向量的相似度大小作出判断。最简单的方法是用两向量之间的距离来表示相似度，距离越小，相似度越大。最典型的是Euclidean距离1,,MssLxisx其他距离测度还包括以及与椭圆范数类似的Mahalanobis距离：12()Σ(,)(),TTdyyxyxx-?-这里是从正态总体中抽取的两个样本。(,Σ)Nμ,xy例14对任意，由定义的是上的向量范数，称为范数。特别地，范数、范数和范数分别为1L2LL22||()|||()|baftftdtºò||()||max|()|atbftft¥＃=()[,]ftCab1/||()|||(,)1|pbppaftftdtp骣琪º琪琪桫³ò[,]CabpL||||pgbaftftdt1()()定理15设线性空间中任意向量在基下的坐标向量为，则是上的向量范数。三、向量范数的几个性质ºαxVα12,,,nαααLxV22||||||||Uxx=定理16Euclid范数是酉不变的，即对任意酉矩阵以及任意，均有这个定理的结论是显然的，因为酉变换保持向量的内积不变，自然也保持了Euclid意义下的几何结构（长度、角度或范数等）不变。nxCÎnnUC´Î12||||||||||||βαβCxxCx＃注意这个结论对无限维未必成立。另外，根据等价性，处理向量问题（例如向量序列的敛散性）时，我们可以基于一种范数来建立理论，而使用另一种范数来进行计算。定理17有限维线性空间上的不同范数是等价的，即对上定义的任意两种向量范数，必存在两个任意正常数，使得V12,CC||||,||||αβggV向量是特殊的矩阵，矩阵可以看成一个维向量，因此自然想到将向量范数推广到矩阵范数。mnmn§2、矩阵范数定义1对中的任意矩阵，都有一个非负实数与之对应，并且具有下列三个条件（正定性、正齐性和三角不等式）：则称是矩阵的（广义）矩阵范数。(2)()||||||||||;()AAF正齐性(1)()||||0;||||0AAOA正定性3()||||||||||||mnABABABF三角不等式（），、||||AAmnF´A||||A一、矩阵范数的概念例2对任意，由111||||||mnijijmaA==º邋定义的是上的矩阵范数，称为范数。1||||mmnF1l()mnijAaF时退化为中的1范数；=1nmF时退化为中的1范数。=1mnF例3对任意，由1,1max||||||ijimjnmAa¥＃＃º定义的是上的（广义）矩阵范数，称为范数。||||mmnFl()mnijAaF时退化为中的范数；=1nmF时退化为中的范数。=1mnF¥¥例4对任意，由()1/22111/2|||()|||mnijFiHjtrAAAa==骣琪琪琪琪è=øº邋定义的是上的矩阵范数，称为范数或Euclid范数或Schur范数或Frobenius范数(F—范数)或Hibert-Schmidt范数。||||FmnF2l()mnijAaF时退化为中的2范数；=1nmF时退化为中的2范数。=1mnF二、算子范数和范数的相容性矩阵不仅仅是向量，它还可以看成变换或算子。实际中，从算子或变换的角度来定义范数更加有用。定义5对中的任意矩阵，用一个非负实数表示对于任意向量，可以“拉伸”向量的最大倍数，即使得不等式成立的最小的数。称为范数和诱导出的矩阵范数或算子范数。mnF´A||||AnxFÎAx||||||||CxAxC||||A||||||||由矩阵范数的正齐性可知的作用是由它对单位向量的作用所决定，因此可以等价地用单位向量在下的像来定义算子范数，即||||1||||maxmax||||||||||||xxxAxAxA从几何上看，算子范数反映了线性映射把一个向量映射为另一个向量，向量的“长度”缩放的比例的上界。AA而且考虑到矩阵乘法的重要地位，因此讨论矩阵范数时一般附加“范数相容性”条件（这里的范数一般要求是同类的）：注意到即||||||||||||AABB,mnnpAFBF创??||||||||||||xAAx||||||||||||AAxx1||||||||||||AAmBFB，为或例6证明：前面给出的矩阵范数都满足“相容性条件”，即成立1||||||||mF、1111||||ABnikkjknnmijab====邋å(?)111(||||)nikkjknnijab===£ååå1111||||nkjnikkniknjab====轾犏Ｗ犏臌邋åå(?)1111||||nninnijkkjkkba====轾犏×犏臌=邋åå(?)(?)1111||||nnijnknkjikkba====轾犏犏骣÷ç÷=?ç÷ç÷÷ç桫臌邋åå11||||||||ABmm=但是