第8章：信号处理中常用的正交变换

第8章信号处理中常用的正交变换8.1希尔伯特空间中的正交变换8.2K-L变换8.3离散余弦变换(DCT)与离散正弦变换(DST)8.4*离散Hartley变换(DHT)8.5*离散W变换(DWT)及正弦类变换8.6*DCT、DST及DWT快速算法简述8.7*图象压缩简介8.8*重叠正交变换8.9与本章内容有关的MATLAB文件目录希尔伯特空间中的正交变换赋范线性空间内积空间完备的内积空间（希尔伯特空间）信号的分解设空间是由N维空间一组向量12{,,,}NXspan12,,,NX概念：Nnnnx1对任一，都可作如下分解：xX所张成，即Xx信号的离散表示,或信号的分解12,,,N是分解系数或信号的变换Nnnnx1由x正变换由x反变换12,,,N12,,,N设想另有一组向量12ˆˆˆ,,,N1ˆ,0ijijijijStep1:满足：双正交关系(biorthogonality)Step2:做内积Nnnnx11ˆ,Nnnjjnˆ,jx1ˆ,Nnnjn12ˆˆˆ,,,N12,,,N对1,0ijijijij则称12,,,N为一组正交基。一组正交基满足：注意：满足双正交关系的两组基向量各自并不满足正交关系，只是相互之间满足正交关系。ˆ1,2,,iiiN如果：信号的正交变换给定数据向量：[(0),(1),,(1)]TxxxNx及算子NNA作变换yAx矩阵的行（列）向量即是前面的向量Ai若：,,AxAxxxy,y则上述变换即为正交变换，或保范（数）变换。A实际上是正交矩阵，1TAA以上正交变换是从线性代数的角度来定义。正交变换的性质：性质1：正交变换的基向量即是其对偶基向量。由性质1可知正交变换具有如下的优点：NNA2.正交变换在计算上最为简单。如果是离散信号，且N是有限值，那么变换只是简单的矩阵与向量运算：yAx3.反变换：1TxAyAy不需要求逆，特别有利于硬件实现1.若正变换存在，那么反变换一定存在，且变换是唯一的；性质2：展开系数是信号在基向量上的准确投影非正交基的情况下，“基向量”称为“标架（Frame)”,这时，展开系数不是准确投影。2*||||()(),nxxnxnxx22||||||nn性质3：正交变换保证变换前后信号的能量不变，此性质又称为“保范(数)变换”。此性质实际上是Parseval’s定理，即信号变换前后能量保持不变。注意，只有正交变换才有此性质。性质4：信号正交分解具有最小平方近似性质。1,Nnnnnnx1ˆLnnnx最小的条件：,1,,nnnL2ˆ(,)xx221ˆ(,)NnnLxx性质5：正交变换的系数具有去除相关和集中能量的性质。0111TNACAACAAC取决于基函数。现能量集中，分量的相关性、能否出）投影的结果能否减少（或者新基底上的向量。底上的投影，看成向量在标准正交基正交变换的结果，可以为特征向量。为特征值，存在正交变换维离散信号对）（具有下列性质：正交变换4)3()(,,)2(;;110111iiNTTTTMNTTAAAxxAAxxAxAxAxNIAAAAAAA佳正交变换变换：统计意义上的最变换（及离散变换离散，离散正弦变换，离散余弦变换傅里叶变换正弦类正交变换斜变换及变换，变换非正弦类正交变换：变换正弦类正交变换非正弦类正交变换正交变换的种类LKDWTWDHTHartleyDSTDCTDFTSLTHRTHaarWHTHadamardWalshLK))()(),()()()()(:正交基的选择原则：具有所希望的物理意义或实用意义；正交基函数应尽量简单，计算量小；最大限度浓缩信号能量，去除相关性；基函数应能同时具有频域和时域的定位功能。正交变换的实例：FS,FT,DTFT,DFS,DFTDCT,DST,DHTWalsh-Hadamard,Haar变换SLT(斜变换）正弦类正交变换非正弦类正交变换佳正交变换变换：统计意义上的最LKyAxyAxPCAAAAxxAAxxAxAxNxNTTiiNTTTTMNˆˆ)(2)(,,,1101。降维和降噪中的应用—信号损失的能量最小后，的结果中较小分量丢掉：如何变换，使变换后背景问题为特征向量。为特征值，个信号互不相关或者变换后相关矩阵对角化使变换结果的如何正交变换维离散信号：对背景问题特征值分解用于信号降噪PCANmimmmmNimNixxxxxxxxxxxxxxx1212143213211,,3,2,1,1,2,23,22,21,21,1,13,12,11,1'''''''''''''''mNmimmmmmNimNixxxxxxxxxxxxxxxNjxjNjmxjlklkj,,1'}}1,min{,min{1ˆ1,Njxj,,1有趣发现:相位不变。阶次与截止频率？K—L变换(Karhunen--Loeve)[(0),(1),,(1)]TxxxNx数据向量：0,00,10,11,01,11,11,01,11,1()()TxxxNNNNNNEcccccccccCxx协方差阵：(,)(,)xxCijCji体现了信号各元素之间的相互关系K—L变换的思路：寻找正交矩阵，做变换，使的协方差阵为对角阵。这样[(0),(1),,(1)]TyyyNy之间彻底去除了相关性。AAxyyyC1.由求的特征值3.将归一化，即令步骤：xCxCN4.由归一化的构成正交阵A5.由实现对的K—L变换：yAxxAxyxyK—L变换的应用－数据压缩：011(0)(1)(1)TNyyyNxAyAAA01ˆ(0)(1)()myyymmNxAAA的K—L展开x截短yAxx欲使均方误差：2ˆ[]Exx为最小应是的特征向量。11Niim最小这时(0),(1),,()yyymmN由于用x表示xxC注意：对正交变换yAxy不是时域序列，而是的变换系数（即），如DFT的。正交变换后，信号的能量一般集中在少数的变换系数上，所以可以舍去绝大部分系数，这并不明显损失信号的能量。由剩下的少量系数，如，通过反变换可以很好的恢复出原信号。从而达到数据压缩的目的。x()Xk1ˆˆxAyˆyiyK—L变换：去相关性最彻底，在此意义上是最佳正交变换；方向依赖待变换的信号。信号发生变化时，要重新求变换矩阵。特征值和特征向量的计算是相当费时的，因此，K—L变换没有快速算法。这就限制了K—L变换的实际应用。变换的正交矩阵8.3离散余弦变换（DCT）(),0,1,,1xnnN给定：定义：DCT的定义构成一矩阵，是变换的核函数变换域012;10kggforkDCT的核函数，DCT矩阵离散余弦变换(DCT)为正交矩阵或合写为：离散余弦变换NcTNNckNnnkNncNncNncCXCxxCXkkgNnkNknkgNnxCnxkXNkNknnxNkXnxNXDCT,;0012/1;1,,2,1,,2)12(cos)(2)()()(;1,,2,1,2)12(cos)(2)()(1)0(:)(10,101010DCT的特点DCT是实变换；DCT是正交变换；在一定条件下，DCT近似K-L变换；DCT有快速算法。正因为DCT有上述特点，因此，DCT在语音和图像压缩中已获得广泛应用。1,0ijijijcc所以DCT是正交变换例：8点DCT：DCT反变换在DCT中，正变换矩阵和反变换矩阵是一样的，都是实矩阵。特别有利于实时实现及硬件实现。一阶马尔可夫过程（Markov-1):语音和图象处理中常用的数学模型。一个随机信号，若其pdf满足如下关系：则称为一阶马尔可夫过程。该式的含意是：已知过程在现在时刻的状态，那么，下一个时刻的状态只和现在的状态有关，而和过去的状态无关。111100[()(),(),,()]nnnnnnpXtxXtxXtxXtx11[()()],()()nnnnnpXtxXtxXtXn)(tX212231231111NNNxNNNR令是Markov-1随机序列相邻两元素之间的相关系数，则该序列的协方差矩阵有如下关系：,[],,0,1,,1,1ijxijijNR按K—L变换的思路，现需要求的特征值及特征向量，以形成变换的正交矩阵。但对Markov-1过程，协方差阵的特征向量可以解析的给出，因此正交变换的矩阵也可解析的得到：xRxRA是方程的根11tan()0N有：由：必有：0,1,1,jjN再由：0Ni0,1,1,jjN0N将正是DCT变换矩阵！代入经化简结论：当时，对Markov-1过程做K—L变换的正交矩阵正是DCT变换的变换矩阵，也即：此时的DCT近似K—L变换。因为DCT有快速算法，另外，Markov-1过程可作为一大类信号（语音、图象）的数学模型，因此DCT在图象、语音压缩中起到了关键性的作用，成为国际上许多标准（如JPEG,MPEG）的重要工具。1(),1,2,,xnnN给定：定义：DST反变换：离散正弦变换（DST）离散正弦变换(DST)为正交矩阵核函数离散正弦变换NsTNNsnkNksNnsSXSxxSXNknNnkNSNnNnkkXNnXNkNnknxNkXDST,;;,,2,1,,1sin12;,,2,1,1sin)(12)(;,,2,1,1sin)(12)(:)(,1111变换矩阵DST也是正交变换可以证明，DST在一定条件下也是对K—L变换的近似。如何评判近似的好坏DFT:DCT:DST:K—L:,,,,nknknknkWCSA正交矩阵的行（或列）向量具有上述形式yAxxRyR正弦类变换：变换前相关矩阵非对角线上元素的和；变换后相关矩阵非对角线上元素的和；越小越好去除相关的“效率”，越大越好80.91NDCT:DFT:DST:98.05%89.48%84.97%：反映了变换后能量集中的程度。若越小、越大，则能量越集中。EEMTWXWYTXWWY21图象压缩与恢复(a)Lena的原图(b)bpp=0.95，PSNR=30.60的恢复图(c)house的原图(d)bpp=1.59，PSNR=35.21的恢复图NiiiexxN122)(122255lg10ePSNR比特每像素:bpp峰值信噪比谢谢