信息论与编码课程论文

《信息论与编码》课程论文压缩感知技术综述学院(系)：专业：班级：学生姓名：学号：教师：2016年5月1日数字通信课程论文1压缩感知技术综述摘要：信号采样是模拟的物理世界通向数字的信息世界之必备手段。多年来，指导信号采样的理论基础一直是著名的Nyquist采样定理，但其产生的大量数据造成了存储空间的浪费。压缩感知（CompressedSensing）提出一种新的采样理论，它能够以远低于Nyquist采样速率采样信号。本文详述了压缩感知的基本理论，着重介绍了信号稀疏变换、观测矩阵设计和重构算法三个方面的最新进展，并介绍了压缩感知的应用及基于压缩感知SAR成像的仿真。关键词：压缩感知；稀疏表示；观测矩阵；SAR成像SummaryofcompressedsensingtechnologyAbstract:Signalsamplingisanecessarymeansofinformationworldphysicalworldtothedigitalsimulation.Overtheyears,thebasetheoryofsignalsamplingisthefamousNyquistsamplingtheorem,butalargeamountofdatageneratedbythewasteofstoragespace.Compressedsensingandputforwardanewkindofsamplingtheory,itcanbemuchlessthantheNyquistsamplingsignalsamplingrate.Thispaperintroducesthebasictheoryofcompressedsensing,emphaticallyintroducesthenewprogressinthreeaspectsofsignalsparserepresentation,designofmeasurementmatrixandreconstructionalgorithm,andintroducestheapplicationofcompressedsensingandSimulationofSARimagingbasedonCompressiveSensingKeywords:Compressedsensing;Sparserepresentation;Theobservationmatrix;SARimaging0引言Nyquist采样定理指出，采样速率达到信号带宽的两倍以上时，才能由采样信号精确重建原始信号。可见，带宽是Nyquist采样定理对采样的本质要求。然而随着人们对信息需求量的增加，携带信息的信号带宽越来越宽，以此为基础的信号处理框架要求的采样速率和处理速度也越来越高。解决这些压力常见的方案是信号压缩。但是，信号压缩实际上是一种资源浪费，因为大量的不重要的或者只是冗余信息在压缩过程中被丢弃。从这个意义而言，我们得到以下结论：带宽不能本质地表达信号的信息，基于信号带宽的Nyquist采样机制是冗余的或者说是非信息的。于是很自然地引出一个问题：能否利用其它变换空间描述信号，建立新的信号描述和处理的理论框架，使得在保证信息不损失的情况下，用远低于Nyquist采样定理要求的速率采样信号，同时又可以完全恢复信号。与信号带宽相比，稀数字通信课程论文2疏性能够直观地而且相对本质地表达信号的信息。事实上，稀疏性在现代信号处理领域起着至关重要的作用。近年来基于信号稀疏性提出一种称为压缩感知或压缩采样的新兴采样理论，成功实现了信号的同时采样与压缩。压缩感知(压缩传感，CompressiveSensing)理论是近年来信号处理领域诞生的一种新的信号处理理论，由D.Donoho(美国科学院院士)、E.Candes(Ridgelet,Curvelet创始人)及华裔科学家T.Tao(2006年菲尔兹奖获得者)等人提出，自诞生之日起便极大地吸引了相关研究人员的关注Decode[1]。简单地说，压缩感知理论指出：只要信号是可压缩的或在某个变换域是稀疏的，那么就可以用一个与变换基不相关的观测矩阵将变换所得高维信号投影到一个低维空间上，然后通过求解一个优化问题就可以从这些少量的投影中以高概率重构出原信号，可以证明这样的投影包含了重构信号的足够信息[2]。在该理论框架下，采样速率不再取决于信号的带宽，而在很大程度上取决于两个基本准则：稀疏性和非相干性，或者稀疏性和等距约束性[3]。事实上，压缩感知理论的某些抽象结论源于Kashin创立的范函分析和逼近论[4]，最近由Candes，Romberg[5],Tao和Donoho等人构造了具体的算法并且通过研究表明了这一理论的巨大应用前景。目前国内已经有科研单位的学者对其展开研究。如西安电子科技大学课题组基于该理论提出采用超低速率采样检测超宽带回波信号。显然，在压缩感知理论中，图像/信号的采样和压缩同时以低速率进行，使传感器的采样和计算成本大大降低，而信号的恢复过程是一个优化计算的过程。因此，该理论指出了将模拟信号直接采样压缩为数字形式的有效途径。从理论上讲任何信号都具有可压缩性，只要能找到其相应的稀疏表示空间，就可以有效地进行压缩采样[6]。当前，压缩感知理论主要涉及三个核心问题[7]：(1)具有稀疏表示能力的过完备字典设计；(2)满足非相干性或等距约束性准则的测量矩阵设计；(3)快速鲁棒的信号重建算法设计。压缩感知理论必将给信号采样方法带来一次新的革命。这一理论的引人之处还在于它对应用科学的许多领域具有重要的影响，如统计学、信息论、编码等。目前，学者们已经在模拟-信息采样、合成孔径雷达成像、遥感成像、核磁共振成像、深空探测成像、无线传感器网络、信源编码、人脸识别、语音识别、探地雷达成像等诸多领域对压缩感知展开了广泛的应用研究[8]。本文围绕稀疏字典设计、测量矩阵设计、重建算法设计三个核心问题，综述了压缩感知理论以及与之相关的信号稀疏变换、观测矩阵设计、重构算法等一系列最新理论成果和应用研究[9]，描述了国内外的研究进展。数字通信课程论文31压缩感知技术理论框架传统的信号采集、编解码过程如图l所示：编码端先对信号进行采样，再对所有采样值进行变换，并将其中重要系数的幅度和位置进行编码，最后将编码值进行存储或传输：信号的解码过程仅仅是编码的逆过程，接收的信号经解压缩、反变换后得到恢复信号。采用这种传统的编解码方法，由于信号的采样速率不得低于信号带宽的2倍，使得硬件系统面临着很大的采样速率的压力[10]。此外在压缩编码过程中，大量变换计算得到的小系数被丢弃，造成了数据计算和内存资源的浪费。压缩感知理论对信号的采样、压缩编码发生在同一个步骤，利用信号的稀疏性，以远低于Nyquist采样率的速率对信号进行非自适应的测量编码[11]。测量值并非信号本身，而是从高维到低维的投影值，从数学角度看，每个测量值是传统理论下的每个样本信号的组合函数，即一个测量值已经包含了所有样本信号的少量信息。解码过程不是编码的简单逆过程，而是在盲源分离中的求逆思想下。利用信号稀疏分解中已有的重构方法在概率意义上实现信号的精确重构或者一定误差下的近似重构[12]。解码所需测量值的数目远小于传统理论下的样本数。图1传统编解码理论的框图图2压缩感知技术的编解码框图数字通信课程论文42压缩感知技术的基本理论及方法假设有一信号)(NRff，长度为N，基向量为),...,2,1(Nii，对信号进行变换：fafiNii或1显然f是信号在时域的表示，是信号在域的表示。信号是否具有稀疏性或者近似稀疏性是运用压缩感知技术的关键问题，若(1)式中的只有K个是非零值)(KN者仅经排序后按指数级衰减并趋近于零，可认为信号是稀疏的。信号的可稀疏表示是压缩感知的先验条件。在已知信号是可压缩的前提下，压缩感知过程可分为两步[13]：(1)设计一个与变换基不相关的)(NMNM维测量矩阵对信号进行观测，得到M维的测量向量。(2)由M维的测量向量重构信号。2.1信号的稀疏表示文献[3]给出稀疏的数学定义：信号X在正交基下的变换系数向量为XT，假如对于20p和0R，这些系数满足：Rppiip/1)||(||||则说明系数向量在某种意义下是稀疏的．文献[1]给出另一种定义：如果变换系数iiX,的支撑域}0;{ii的势小于等于K，则可以说信号X是K项稀疏。如何找到信号最佳的稀疏域?这是压缩感知技术应用的基础和前提，只有选择合适的基表示信号才能保证信号的稀疏度，从而保证信号的恢复精度。在研究信号的稀疏表示时，可以通过变换系数衰减速度来衡量变换基的稀疏表示能力。Candes和Tao研究表明，满足具有幂次(power-law)速度衰减的信号，可利用压缩感知理论得到恢复[14]。最近几年，对稀疏表示研究的另一个热点是信号在冗余字典下的稀疏分解．这是一种全新的信号表示理论：用超完备的冗余函数库取代基函数，称之为冗余字典，字典中的元素被称为原子[15]。字典的选择应尽可能好地符合被逼近信号的结构，其构成可以没有任何限制。从冗余字典中找到具有最佳线性组合的K项原子来表示一个信号，称作信号的稀疏逼近或高度非线性逼近。目前信号在冗余字典下的稀疏表示的研究集中在两个方面：(1)如何构造一个适合某一类信号的冗余字典；(2)如何设计快速有效的稀疏分解算法。这两个问题也一直是该领域研究的热点，学者们对此已做了一些探索，其中以非相干字典为基础的一系列理论证明得到了进一步改进。西安电子科技大学的石光明教授也对稀疏表示问题进行了认数字通信课程论文5真研究，并基于多组正交基级联而成的冗余字典提出一种新的稀疏分解方法。2.2信号的观测矩阵用一个与变换矩阵不相关的)(NMNM测量矩阵对信号进行线性投影，得到线性测量值y：fy测量值y是一个M维向量，这样使测量对象从N维降为M维。观测过程是非自适应的即测量矩阵少的选择不依赖于信号f。测量矩阵的设计要求信号从f转换为y的过程中，所测量到的K个测量值不会破坏原始信号的信息，保证信号的精确重构。由于信号f是是可稀疏表示的，上式可以表示为下式：fy其中是一个NM矩阵。上式中，方程的个数远小于未知数的个数，方程无确定解，无法重构信号。但是，由于信号是K稀疏，若上式中的满足有限等距性质(RestrictedIsometryProperty，简称RIP)，即对于任意K稀疏信号f和常数)1,0(k，矩阵满足：kkff1||||||||12222则K个系数能够从M个测量值准确重构。RIP性质的等价条件是测量矩阵和稀疏基不相关。目前，用于压缩感知的测量矩阵主要有以下几种：高斯随机矩阵，二值随机矩阵(伯努力矩阵)，傅立叶随机矩阵，哈达玛矩阵，一致球矩阵等。2.3信号的重构算法目前为止出现的重构算法都可归入以下三类[16]：（1）贪婪追踪算法：这类方法是通过每次迭代时选择一个局部最优解决来逐步逼近原始信号。这些算法包括MP算法，OMP算法，分段OMP算法(StOMP)和正则化OMP(ROMP)算法。（2）凸松弛法：这类方法通过将非凸问题转化为凸问题求解找到信号的逼近，如BP算法，内算法，梯度投影方法和迭代阀算法。（3）组合算法：这类方法要求信号的采样支持通过分组测试快速重建，如傅里叶采样，链式追踪和HHS(HeavgHittersonSteroids)追踪等[17]。可以看出，每种算法都有其固有的缺点。凸松弛法重构信号所需的观测次数最少，但往往计数负担很重：贪婪追踪算法在运行时间和采样效率上都位于另两类算法之间。由上面的分析可知：重构算法和所需的观测次数密切相关。当前，数字通信课程论文6压缩感知技术的信号重构问题的研究主要集中在如何构造稳定的、计算复杂度较低的、对观测数量要求较少的重构算法来精确地恢复原信号。当矩阵满足RIP准则时。压缩感知技术能够通过对上式的逆问题先求解稀疏系数xT，然后将稀疏度为K的信号x从M