视频与图像处理技术及其应用

视频与图像处理技术及其应用版权所有：MaoY.B&XiangW.B补充1图像变换Outlinesupplement1•图像的分解•傅立叶（Fourier）变换及其意义•Walsh/Hadamard变换•更一般的正交变换•DCT变换与霍特林变换(K-L变换)•主成分分析（PCA）图像的分解•一个一维信号可以通过下面基本函数（Haar函数）的平移和伸缩来表示(0,)1,0t1Ht=≤当时121210t(1,)1t1Ht≤⎧=⎨−≤⎩当时当时图像的分解对基本信号的平移信号的伸缩那么对于二维图像如何表示？图像的分解这样一组图像作为基图像它们是两个离散的Haar函数取外积的结果我们想分解图像中的快变与慢变成分一个非常好的分解方法这种分解有一个特定的名称…JeanBaptisteJosephFourier(1768-1830)•hadcrazyidea(1807):•Anyperiodicfunctioncanberewrittenasaweightedsumofsinesandcosinesofdifferentfrequencies.•Don’tbelieveit?–NeitherdidLagrange,Laplace,Poissonandotherbigwigs–NottranslatedintoEnglishuntil1878!•Butit’strue!–calledFourierSeries分解为正弦函数和)+φωxAsin(Fourier变换)+φωxAsin(f(x)F(ω)FourierTransformF(ω)f(x)InverseFourierTransform)()()(ωωωiIRF+=22)()(ωωIRA+±=)()(tan1ωωφRI−=反变换：TimeandFrequency•example:g(t)=sin(2pft)+(1/3)sin(2p(3f)t)TimeandFrequency•example:g(t)=sin(2pft)+(1/3)sin(2p(3f)t)=+FrequencySpectra•example:g(t)=sin(2pft)+(1/3)sin(2p(3f)t)=+FrequencySpectra•有时我们更关心频率，而忽略相位=+=FrequencySpectra=+=FrequencySpectra=+=FrequencySpectra=+=FrequencySpectra=+=FrequencySpectra=11sin(2)kAktkπ∞=∑FrequencySpectraFrequencySpectraFT:Justachangeofbasis...*=M*f(x)=F(ω)IFT:Justachangeofbasis...*=M-1*F(ω)=f(x)傅立叶（Fourier）变换及其意义•一维连续傅立叶变换dxexfuFuxj∫+∞∞−−⋅=π2)()(dueuFxfuxj∫+∞∞−⋅=π2)()(2/122)](Im)([Re)(uuuF+=])Re()Im([)(1uutgu−=ϕ傅立叶（Fourier）变换及其意义•一维离散傅立叶变换)}(),...,(),({)(110−=Nxfxfxfxf∑−=−=10/21)()(NxNxujNexfuFπ∑−==10/21)()(NuNxujNeuFxfπxNuΔ⋅=Δ1•三个量之间的关系：1N,...,1,0u;1N,...,1,0x−=−=傅立叶（Fourier）变换及其意义•二维连续傅立叶变换∫∫+∞∞−+−⋅=dxdyeyxfvuFvyuxj)(2),(),(π∫∫+∞∞−+⋅=dudvevuFyxfvyuxj)(2),(),(π2/122)],(Im),([Re),(vuvuvuF+=]),Re(),Im([),(1vuvutgvu−=ϕ傅立叶（Fourier）变换及其意义•二维离散傅立叶变换∑∑−=−=+−=1010)//(21),(),(MxNyNyvMxujMNeyxfvuFπ∑∑−=−=+=1010)//(2),(),(MuNvNyvMxujevuFyxfπ;1N,...,1,0v,1M,...,1,0u;1N,...,1,0y,1M,...,1,0x−=−=−=−=二维傅立叶变换傅立叶（Fourier）变换及其意义•对下述256x256的灰度图像做傅立叶变换傅立叶（Fourier）变换及其意义•二维傅立叶变换物理意义傅立叶（Fourier）变换及其意义•二维傅立叶变换物理意义傅立叶（Fourier）变换及其意义•二维傅立叶变换物理意义傅立叶（Fourier）变换及其意义•二维傅立叶变换物理意义傅立叶（Fourier）变换及其意义••一维一维SincSinc函数函数傅立叶（Fourier）变换及其意义••二维二维SincSinc函数函数傅立叶（Fourier）变换及其意义•二维傅立叶变换物理意义水平方向50Hz正弦信号傅立叶（Fourier）变换及其意义•二维傅立叶变换物理意义水平方向200Hz正弦信号傅立叶（Fourier）变换及其意义•二维傅立叶变换物理意义水平方向500Hz正弦信号对角方向50Hz正弦信号傅立叶（Fourier）变换及其意义傅立叶（Fourier）变换及其意义22vu1T+=信号周期：)uv(tgu1−=ϕ的夹角：与22vuT1+=空间频率：D90−α=ϕ夹角：2DFFTtransform离散傅立叶变换的性质1.可分性一个二维离散傅立叶变换可以用二次一维的离散傅立叶变换来实现。2.线性(,){[(,)]}yxFvfxyμ=ℑℑ[(,)(,)][(,)][(,)]fxygxyfxygxyαβαβℑ⋅+⋅=⋅ℑ+⋅ℑ3.比例变换特性4.平移特性上式表明：1.空间域图像的平移只影响频域中的相位，不影响幅度；2.[(,)](,)fxyFvααμℑ=1[(,)](,)vfxyFμαβαβαβℑ=002()00[(,](,)xvyjMNfxxyyFveμπμ−+ℑ−−=002()00[(,)](,)xvyjMNfxyeFvvμπμμ+ℑ=−−[(,)(1)](,)22xyMNfxyFvμ+ℑ−=−−5.周期性6.共轭对称性说明离散函数的傅立叶变换是以原点为中心对称的，只要求出半个周期内的值就可以得到真个周期的值。(,)(,)(,)(,)FvFvFvFvμμμμ∗=−−=−−(,)fxy(,)Fvμ(,)(,)(,)(,)(,)(,)(,)(,)FvFMvFvNFMvNfxyfxMyfxyNfxMyNμμμμ=+=+=++=+=+=++7.旋转特性00[(,)](,)frFθθωϕθℑ+=+cos,sin,cos,sinxryruvθθωϕωϕ====8.平均值9.能量保持定理10.微分特性离散函数的拉普拉斯算子为：那么(,)(0,0)fxyF=1111220000(,)(,)MNMNxyxyfxyFvμ−−−−=====∑∑∑∑22222(,)fffxyxy∂∂∇=+∂∂(,)fxy2222{(,)}(2)()(,)fxyvFvπμμℑ∇=−+(,)(j)(,)nnnfxyuFuvx∂⇔∂(,)(j)(,)nnnFuvxfxyu∂−⇔∂11.卷积定理为了防止交叠误差（WraparoundError），将扩展为，其二维离散卷积定义为：则二维离散傅立叶卷积如下：(,),(,)fxygxy(,),(,)efxygxy1100(,)(,)(,)(,)MNeeeemnfxygxyfmngxmyn−−==∗=−−∑∑[(,)(,)](,)(,)eeefxygxyFxyGxyℑ∗=⋅[(,)(,)](,)(,)eeeefxygxyFvGvμμℑ⋅=∗[(,)(,)](,)(,)[(,)(,)](,)(,)eeeeeeeefxygxyFvGvfxygxyFvGvμμμμ∗∗ℑ=⋅ℑ⋅=DD1100(,)(,)(,)(,)MNeeeemnfxygxyfmngxmyn−−===++∑∑D12.相关定理原始图像幅值图像相位图像)(xF)(xF∠傅立叶（Fourier）变换及其意义原始图像幅值重构图像相位重构图像()()xFF1−()()xFxFF/)(1−傅立叶（Fourier）变换及其意义相位蕴涵更多图像信息！哈达玛(Hadamard)变换与傅立叶变换不同，哈达玛(Hadamard)变换和下面将要介绍沃尔什(Walsh)的变换的基波都是方波的变形。通常这种变换的计算速度很快，这主要的原因是因为其中的许多乘法操作都非常简单。一维哈达玛变换对的定义：其中N=2n。1-N0,1,2,...,u)1)((1)(10)()(10=∑−=∑−===NxubxbniiixfNuH1-N0,1,2,...,x)1)(()(10)()(10=∑−=∑−===NuubxbniiiuHxf其中：bk(z)是z的二进制表达中的第k位。正变换反变换二维哈达玛变换对的定义1011()()()()001(,)(,)(1)u,v0,1,2,...,N-1niiiiiNNbxbubybvxyHuvfxyN==−−+==∑=−=∑∑正变换；其中N=2n。反变换；其中N=2n。1-N0,1,2,...,yx,)1)(,(1),(1010)()()()(10=∑−=∑∑−=−=+==NxNyvbybubxbniiiiivuHNyxf其中：bk(z)是z的二进制表达中的第k位。例如：b2(4)→000100→=1)32()15()3()4()()()()(5555bbbbvbybubxbiiii+=+000100000011001111100000→0×0＋0×1=0例如：N=8时，有哈达玛变换阵52614370每一行的符号的变化次数称作这个行的列率。⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡−−−−−−−−−−−−−−−−−−−−−−−−−−−−=11111111111111111111111111111111111111111111111111111111111111118H哈达玛变换的正反变换核是一样的。变换核生成有一规律，使其生成非常方便(如果图像是N×N，N=2n)。NNNNN2NHN1AHHHHH=⎥⎦⎤⎢⎣⎡−=变换核HAAfT=TAfAH=沃尔什(Walsh)变换•我们从哈达玛变换知道：它的构造是由小块堆积成大块的。但是分析其列率就知道其排列是无规则的。•将无序的哈达玛核进行列率的排序，之后得到的有序的哈达玛变换就成为沃尔什变换。当N=2n时，有一维沃尔什变换对：1-N0,1,2,...,u)1()(1)(10)()(101=−=∑∏−=−=−−NxubxbniinixfNuW1-N0,1,2,...,u)1()()(10)()(101=−=∑∏−=−=−−NuubxbniinixWxf例如：N=8时，有沃尔什变换阵⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡−−−−−−−−−−−−−−−−−−−−−−−−−−−−=11111111111111111111111111111111111111111111111111111111111111118W76543210NWN1A=变换核WAAfT=TAfAW=可见，沃尔什变换阵可由哈达玛变换阵重排列率构成。二维沃尔什变换对的定义[]1-N0,1,2,...,vu,)1(),(1),(1010)()()()(1011=−=∑∑∏−=−=+−=−−−−NxNyvbybubxbniiniiniyxfNvuW[]1-N0,1,2,...,yx,)1(),(1),(1010)()()()(1011=−=∑∑∏−=−=+−=−−−−NuNvvbybubxbniiniiniyxfNyxf例：用4×4沃尔什变换阵G对给定图像f1(x,y)和f2(x,y)进行变换，求其变换后的“图像”W1(u,v)和W2(u,v)。⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡−−−−−−=1111111111111111),(1331133113311331),(111