第3节正交补空间与正交投影(09-10第二学期)

高等代数与解析几何9.39.3正交补空间与正交投影正交补空间与正交投影高等代数与解析几何在解析几何里,设1W是三维空间3V过原点的平面π,2W是过原点且垂直于平面π的直线l.我们知道,1W和2W都是3V的子空间,并且123WWV⊕=,其中2W的每个向量与1W的每个向量都正交.反之,与1W的向量正交的向量也一定属于2W.我们称2W是1W的正交补.同样,1W也是2W的正交补,记作12WW⊥=,12WW⊥=.在一般欧氏空间里,也可以引入正交补的概念,并由此得到将欧氏空间分解成它的两个子空间的直和的一种方法.高等代数与解析几何设W是欧氏空间V的一个子集,如果V中的向量ξ与W中的每个向量都正交,则称ξ与W正交,记作ξ⊥W.定义9.3.1设W是欧氏空间V的一个非空子集,V中与W正交的所有向量组成的集合称为W的正交补,记作W⊥,即{,0}WVWξξββ⊥=∈=∈〈〉对任意的定理9.3.1设W是欧氏空间V的一个非空子集,则W⊥是V的一个线性子空间.高等代数与解析几何定理9.3.1设W是欧氏空间V的一个非空子集,则W⊥是V的一个线性子空间.证明显然0W⊥∈,因而W⊥≠∅.又对,Wζη⊥∀∈以及Wβ∀∈,有,,,,0ζηβζβηβ+=+=所以Wζη⊥+∈.其次,对于任意的Wζ⊥∈,以及任意的k∈,有,,0kkζβζβ==〈〉〈〉对任意Wβ∈成立.即kWζ⊥∈.因此,W⊥是V的一个线性子空间.当W是V的一个线性子空间时,有高等代数与解析几何定理9.3.2设W是欧氏空间V的一个有限维线性子空间,则证明先证VWW⊥=+.当{0}W=时,取WV⊥=,结论成立.当{0}W≠时,在W中取一个规范正交基12,,,,rβββ这里dimrW=.对于任意的Vα∈,令1112221,,,,,rrααββαββαββααα=+++=−〈〉〈〉〈〉易知1Wα∈，而对1,2,,ir=，有VWW⊥=⊕高等代数与解析几何所以2Wα⊥，即2Wα⊥∈.从而12WWααα⊥=+∈+即VWW⊥⊆+.这就证明了VWW⊥=+.再证{0}WW⊥=∩.设WWα⊥∈∩，那么,0αα=〈〉.从而0α=.因此VWW⊥=⊕.2111,,,,,,,,,,,,0.iiiirijjijiiiiiiαβααβαβαβαβαβββαβαβββαβαβ==−=−=〈〉−〈〉=〈〉−〈〉〈〉=〈〉−〈〉=〈〉〈〉〈〉〈〉∑高等代数与解析几何从定理9.3.2可知，如果W是欧氏空间V的一个子空间，那么V中每个向量α可以唯一地表示为12ααα=+，其中12,WWαα⊥∈∈.令那么,Wf是V的一个线性变换，称为V在W上的正交投影，而称1()Wfαα=为α在W上的正交投影1:,.WfVWVαα→⊆高等代数与解析几何我们注意到，定理9.3.2的证明同时还给出了计算正交投影的一个方法：在W中取一个规范正交基12,,,,rβββ则α在W上的正交投影为：1122(),,,Wrrfααββαββαββ=+++〈〉〈〉〈〉.例9.3.1在欧氏空间4里，设123(1,2,1,1),(2,1,1,0),(0,1,1,2)ααα=−−=−=−,试求向量(1,2,1,0)β=−在由向量123,,ααα生成的子空间W上的正交投影.高等代数与解析几何解法一按正交投影的定义.设12βββ=+，其中12,WWββ⊥∈∈.因此，()1112233211122331212312313122212xxxxxxxxxxxxxxxxβαααββββααα=++=−=−−−=+−−+−−+−+−−123(1,2,1,0),(1,2,1,1)(2,1,1,0),(0,1,1,2)βααα=−=−−=−=−由于2Wβ⊥∈，当且仅当2,1,2,3.iiβα⊥=由此，令2,0(1,2,3),iiβα==可得线性方程组1231231237554,5621,5263.xxxxxxxxx−+=⎧⎪−+−=−⎨⎪−+=⎩高等代数与解析几何解这个线性方程组,得：所以123532,,44xxx===−1112233123()532.4411,2,0,22Wfxxxββαααααα==++=+−⎛⎞=⎜⎟⎝⎠1231231237554,5621,5263.xxxxxxxxx−+=⎧⎪−+−=−⎨⎪−+=⎩高等代数与解析几何取与123,,ααα正交的向量4(1,0,2,1),α=−于是1234,,,αααα是4R的一组基。例1在欧氏空间4R里，设12(1,2,1,1),(2,1,1,0),αα=−−=−3(0,1,1,2),α=−试求向量(1,2,1,0)β=−在由向量123,,ααα生成的子空间W上的正交投影.今把β用1234,,,αααα线性表示。为此解方程组11223344xxxxααααβ+++=其增广矩阵为解法二高等代数与解析几何12341201121102(,,,,)1112110210TTTTTAααααβ−−⎛⎞⎜⎟−⎜⎟==⎜⎟−−−⎜⎟⎝⎠对增广矩阵作初等行变换1201110253031240113201132002720220100063A−−−−−⎛⎞⎛⎞⎜⎟⎜⎟−−−−⎜⎟⎜⎟→→⎜⎟⎜⎟−−−−−⎜⎟⎜⎟−⎝⎠⎝⎠高等代数与解析几何10021100021025315011320101010024773001100110010224111000100010001222⎛⎞⎛⎞−⎛⎞⎜⎟⎜⎟⎜⎟⎜⎟⎜⎟−⎜⎟⎜⎟⎜⎟⎜⎟⎜⎟⎜⎟→→→−−⎜⎟⎜⎟⎜⎟−−−⎜⎟⎜⎟⎜⎟⎜⎟⎜⎟⎜⎟−⎜⎟−−⎜⎟⎜⎟⎝⎠⎝⎠⎝⎠于是12345312,,,442xxxx===−=−因此高等代数与解析几何12345312442βαααα=+−−所以，向量β在由向量123,,ααα生成的子空间W上的正交投影为12353112,2,0,4422ααα⎛⎞+−=⎜⎟⎝⎠高等代数与解析几何或者，令4(*)kβαα=+其中Wα∈就是要求的向量β在由向量123,,ααα生成的子空间W上的正交投影。注意4Wα⊥，(*)式两边同时与4α作内积得到444(,(),kβααα=）所以444(,()31,62kβααα=−==−）高等代数与解析几何这样，就得到向量β在由向量123,,ααα生成的子空间W上的正交投影44()111,2,0,222Wfkβαβαβα==−=+⎛⎞=⎜⎟⎝⎠解法3：先把w的基标准正交化，再扩展为R^4的标准正交基。高等代数与解析几何下面我们从例9.3.1的解法一，利用内积的度量矩阵得到一个求正交投影的公式.如果W是欧氏空间V的一个(0)rr维子空间，12,,,rααα是W的一个基.对任意的Vβ∈，令11122rrxxxβααα=+++，而211122rrxxxββββααα=−=−−−−由于VWW⊥=⊕，而1Wβ∈，所以2Wβ⊥∈，即1β是β在W上的正交投影.确定了12,,,rxxx，也就确定了1β.由于2Wβ⊥∈，这等价于2iβα⊥，1,2,,ir=.即高等代数与解析几何2110,,,,;1,2,rrijjiijijjjxxirβαβααβααα===〈〉=〈−〉=〈〉−〈〉=∑∑由此得线性方程组11112211211222221122,,,,,,,,,,,,,.rrrrrrrrrrxxxxxxxxxααααααβαααααααβαααααααβα〈〉+〈〉++〈〉=〈〉⎧⎪〈〉+〈〉++〈〉=〈〉⎪⎨⎪⎪〈〉+〈〉++〈〉=〈〉⎩即1122,,,rrrxxAxβαβαβα〈〉⎛⎞⎛⎞⎜⎟⎜⎟〈〉⎜⎟⎜⎟=⎜⎟⎜⎟⎜⎟⎜⎟⎜⎟⎜⎟〈〉⎝⎠⎝⎠高等代数与解析几何其中，rA是V的内积关于W的基12,,,rααα的度量矩阵.因为rA是可逆矩阵，所以方程组有唯一解，且11221,,.,rrrxxAxβαβαβα−〈〉⎛⎞⎛⎞⎜⎟⎜⎟〈〉⎜⎟⎜⎟=⎜⎟⎜⎟⎜⎟⎜⎟⎜⎟⎜⎟〈〉⎝⎠⎝⎠因此，当我们需要计算向量Vβ∈在其r维子空间W上的正交投影()Wfβ时，有公式1122111212,,()(,,,)(,,,).,WrrrrrxxfAxβαβαββααααααβα−〈〉⎛⎞⎛⎞⎜⎟⎜⎟〈〉⎜⎟⎜⎟===⎜⎟⎜⎟⎜⎟⎜⎟⎜⎟⎜⎟〈〉⎝⎠⎝⎠这里，12,,,rααα是选定的W的一个基.高等代数与解析几何在本节的最后，我们再给出在理论上判别一个向量1α是否是欧氏空间V的某个向量α在V的子空间W上的正交投影的充分必要条件.定理9.3.3设W是欧氏空间V的一个子空间.对于V中的向量α，W中有向量1α是α在W上的正交投影的充分必要条件是1αααβ−≤−对所有的Wβ∈成立.βαα1Wα-α1α-β高等代数与解析几何βαα1Wα-α1α-β高等代数与解析几何补充：补充：向量到子空间的距离向量到子空间的距离最小二乘法最小二乘法高等代数与解析几何一、定义一、定义在解析几何中，两个点α和β间的距离等于向量α-β的长度.在欧氏空间中我们同样可引入定义定义1313长度长度||αα--ββ||称为向量称为向量αα和和ββ的的距离距离记为记为dd((αα,,ββ).).不难证明距离的三条基本性质：1)1)dd((αα,,ββ))==dd((ββ,,αα))；；2)2)dd((αα,,ββ))≥≥00，，并且仅当并且仅当αα==ββ时等号才成立时等号才成立;;3)3)dd((αα,,ββ))≤≤dd((αα,,γγ))++dd((γγ,,ββ))((三角不等式三角不等式).).高等代数与解析几何二、向量到子空间各向量间的最短距离二、向量到子空间各向量间的最短距离在中学所学几何中知道一个点到一个平面(或一条直线)上所有点的距离以垂线最短.下面可以证明一个固定向量和一个子空间中各向量的距离也是以“垂线最短”.先设一个子空间W，它是由向量α1,α2,…,αk所生成，即W=L(α1,α2,…,αk).说一个向量α垂直于子空间W，就是指向量α垂直于W中任何一个向量.容易验证α垂直于W的充分必要条件是高等代数与解析几何α垂直于每个αi(i=1,2,…,k).现在来证明向量到子空间各向量间的距离以垂向量到子空间各向量间的距离以垂线最短线最短..设β是给定的一向量，γ是W中的向量，且满足β-γ垂直于W.要证明β到W中各向量的距离以垂线最短，就是要证明，对W中任一向量δ，有|β-γ|≤|β-δ|.我们可以画出下面的示意图：高等代数与解析几何β-γβ-δγ-δW图9-2高等代数与解析几何证明证明β-δ=(β-γ)+(γ-δ).因W是子空间，γ∈W，δ∈W，则γ-δ∈W.故β-γ垂直于γ-δ.由勾股定理，有|β-γ|2+|γ-δ|2=|β-δ|2，故|β-γ|≤|β-δ|.证毕证毕高等代数与解析几何三、最小二乘法三、最小二乘法1.1.引例引例上述几何事实可以用来解决一些实际问题.其中的一个应用就是解决最小二乘法问题.先看下面的例子.引例引例已知某种材料在生产过程中的废品率y与某种化学成分x有关.下列表中记载了某工厂生产中y与相应的x的几次数值：高等代数与解析几何y(%)1.000.90.90.810.600.560.35x(%)3.63.73.83.94.04.14.2我们想找出y对x的一个近似公式.解解把表中数值画出图来看，发现它的变化趋势近于一条直线.因此我们决定选取x的一次式ax+b来表达.当然最好能选到适当的a,b使得下面的等式3.6a+b-1.00=0,3.7a+b-0.9=0,高等代数与解析几何3.8a+b-0.9=0,3.9a+b-0.81=0,4.0a+b-0.60=0,4.1a+b-0.56=0,4.2a+b-0.35=0都成立.实际上是不可能的.任何a,b代入上面各式都会发生些误差.于是想找a,b使得上面各式的误差的平方和最小，即找a,b使高等代数与解析几何(3.6a+b-1.00)2+(3.7a+b-0.9)2+(3.8a+b-0.9)2+(3.9a+b-0.81)2+(4.0a+b-0.60)2+(4.1a+b-0.56)2+(4.2a+b-0.35)2最小.这里讨论的是误差的平方即二乘方，故称为最小二乘法.现在转向一般的最小二乘法问题.高等代数与解析几何2.2.定义定义定义定义14