基于FPGA的数字图像处理

苏州科技学院基于FPGA的数字图像处理基本算法研究与实现GoodLuck!设计者：张志明2015.12.11CONTENTS工作总结和未来还需要做的工作4课题的来源及研究的目的和意义1国内外该方向的研究现状及分析2本课题研究的内容3课题的来源及研究的目的和意义随着数字多媒体技术的不断发展，数字图像处理技术被广泛应用于各种军用、民用、商用及工业生产领域中。图像处理技术的日益普及是和图像处理系统的不断完善分不开的。图像处理系统一般包括两个部分：图像采集部分和图像处理部分。图像采集部分由专用的视频处理器、图像缓存和控制接口电路组成。它的主要作用是将实时视觉传感器获取的模拟视频信号转化为数字图像信号，并将这些数字图像信号传送给计算机或者专用的图像处理器件进行处理。图像处理部分可以是计算机，也可以是专用图像处理器件，或者是两者的结合。专用的图像处理器件主要有专用集成芯片、数字信号处理器和现场可编程门阵列以及相关电路组成。它们可以实时高速完成各种图像处理算法。近年来，微电子技术和超大规模的集成电路制造技术的发展，特别现场可编程门阵列FPGA的发展，为提高图像处理系统各种性能提供了新的思路和方法。由于底层图像处理的数据量很大，要求处理速度快，但运算结果相对比较简单，以FPGA作为主要处理芯片的图像处理系统非常适合于对图像进行处理。课题的来源及研究的目的和意义一般地，图像处理大致可以分为低级处理和高级处理：低级处理的数据量大，算法简单，存在着较大的并行性；高级处理的算法复杂，数据量小。在图像处理的实现手段上，图像低级处理阶段，利用软件来实现是一个很耗时的过程，但是利用硬件实现，就可以对大量数据进行并行处理，能够极大的提高处理速度；而图像高级处理阶段，利用软件来实现则具有较高的性价比。因此，图像处理系统中可以利用高速硬件模块(如FPGA)承担图像低级处理任务。这样对大量图像数据进行了低级处理，使系统在减少数据传输量的同时还极大的提高了实时性能。为什么选择FPGA作为处理平台图像处理的实现方法主要有以下几种：1.通用计算机2.专用集成电路（ASIC）3.数字信号处理器（DSP）4.现场可编程门阵列（FPGA）国内外该方向的研究现状及分析图像处理分为三个阶段：第一阶段大体上是20世纪60年代末到80年代中期，当时的代表产品是美国和英国的一些公司推出的各种图像计算机以及图像分析系统。由于这些系统采用机箱式结构，所以系统的体积比较大，虽然功能比较强，但价格比较昂贵。在中国，图像处理系统的研制起步比较晚，主要有清华大学研制的图像采集系统和图像计算机。第二阶段是从80年代中期到90年代初期，该阶段的特点是小型化，外部结构不再是机箱式而是插卡式。通过把图像卡插到计算机内，即可和计算机构成图像采集系统。在国内，80年代末到90年代初，中科院自动化研究所和清华大学都成功研制了一系列的图像采集卡。由于图像卡体积小、价格低、使用方便，所以很受用户欢迎。这阶段的图像卡大都开始采用大规模集成电路甚或是专用集成电路。第三阶段是从90年代初开始，这阶段的产品出现两大类，一种仍是采用插卡式，随着PCI总线技术的成熟，采用PCI总线的产品逐步取代采用ISA总线接口的产品。在国内，很多公司等都推出各自的PCI图像卡产品。该类产品的特点是：采用PCI总线，在Windows平台上编制图像处理软件。另一种图像卡是采用大规模集成电路或专用芯片取代计算机的脱机图像处理系统。随着专用集成芯片(ASIC)、数字信号处理器(DSP)和现场可编程门阵列(FPGA)芯片集成度、运算速度的大幅度提高，价格大幅度降低，这些芯片成为脱机图像系统的主流处理器。美国TI公司在DSP市场上的主导地位使得TI公司的图像处理平台在世界上处于领先地位。国内的DSP技术起步较晚，但发展很快。90年代末就有比较成熟的产品出现[4]。由于PCI总线的诸多优点，在没有特殊限制的场合，采用计算机+PCI接口图像采集卡仍将是图像处理系统的主流配置。基于FPGA的图像处理的实现1.FPGA的设计方法与流程基于FPGA的图像处理的实现图像处理的方法通常情况下，当图像被系统采集到时，系统获取的图像由于经过传输和随机干扰，使图像质量下降。为了稳定地进行特征抽取，提高精度等必须消除噪声。同时为了取出图像的几何学各种特征，便于图像识别，提高识别的速度，必须进行图像的滤波和边缘检测等图像处理方法。图像增强有很多方法，本文采用的是：频域处理基于FPGA的图像处理的实现中值滤波算法标准的中值滤波器都是由一个奇数大小尺寸的滑动窗组成，通常为3x3窗或5x5窗等。以3x3窗为例，该窗沿着图像数据的行方向逐像素滑动，在每一次滑动期间内，方形窗中的所有像素按照灰度值被排序，这组数据中的中值作为输出，替代原来窗函数的中心位置像素的会度值。基于FPGA的图像处理的实现图像边缘检测算法的步骤(1)分别将4个方向模板沿着图像从一个像素移动到另一个像素，并将像素的中心与图像中的某个像素位置重合；(2)将模板内的系数与其图像上相对应的像素值相乘；(3)将所有相乘的值相加；(4)将4个卷积的最大值，赋给图像中对应模板中心位置的像素,作为该像素新的灰度值；(5)选取合适的阈值TH_hold，若新像素灰度值≥THold，则判读该像素点为图像边缘点。基于FPGA的图像处理的实现采用FPGA实现图像处理的硬件电路主要包括3x3方形窗生成模块和图像处理算法模块基于FPGA的图像处理的实现中值滤波算法模法实现的步骤：1.先将3x3窗中的9个像素分为3组，分别对3个组中的3个像素灰度值进行两两比较后得到这3个像素的大小排序关系2.再将这3组像素中的最小值进行比较，取最大值，对3组像素的3个中值排序后取中值，对3组像素的最大值进行比较排序后取最小值3.最后对上面得到的3个值进行两两排序比较得到的值即为中值median基于FPGA的图像处理的实现边缘检测示意图将经过中值滤波后的视频图像数据流通过通过FIFO缓存和3x3方形窗处理后即可得到并行的9个要处理像素，其中FIFO模块和3x3方形窗模块可以复用前面的模块。然后将得到得图像数据送入4个滤波器进行滤波，分别产生4个方向的梯度值，通过对4个梯度值及阈值进行比较，最后输出边缘检测后的视频图像数据流。其流程图如图。总结和展望总结中值滤波，边缘检测等底层的视频图像信号算法处理的数据量大，对处理的速度要求高，但是运算结构相对比较简单，我们使用FPGA进行硬件实现。本文结合视频图像处理系统的特点和FPGA应用技术，根据视频图像处理系统的要求，主要就数字视频图像处理系统的开发过程进行了论述，设计并实现了基于FPGA的图像处理系统。展望本文只对常用的图像处理算法进行研究实现，有待挖掘和改善更优越的图像处理算法，以便更好的提高系统的性能实现系统过程中并没有太多考虑逻辑和时序上的优化，下一步要认真掌握FPGA的设计技巧，优化设计以提高系统的性能由于FPGA自身的特性，它无法完成相对比较复杂的图像处理和模式识别算法。下一步的工作需要将DSP加入到图像处理系统中，使之能够完成各种复杂的图像处理和模式识别算法考虑将图像处理系统将和网络结合，实现远程的图像采集和传输。完谢谢，各位!