基于ARM的图像采集与处理系统

大连民族学院电子信息工程课程设计报告课程名称：ARM嵌入式系统结构与编程题目：基于ARM的图像采集与处理系统专业班级：电子082学生姓名：黄小宝张晓佳于越石艺丽杨明奇郑文星日期：2011.10.21指导教师：李绍明摘要随着数字图像技术和电子技术的不断发展，图像采集系统已经在民用、商用和军用等各个不同的领域得到广泛的应用。发展体积小，功耗低的便携式数字图像采集系统显得非常必要，而且十分迫切。本文通过研究当前数字图像采集系统的研究成果和发展趋势，设计了一种基于FPGA和嵌入式ARM组成的便携式数字图像采集系统；并对该系统设计过程中的若干问题进行了深入探讨，论文重点研究了系统的硬件设计和软件实现。论文主要的研究内容包括：详细介绍了CMOS传感器OV9121；提出了利用FPGA实现对CMOS传感器的控制；在研究图像噪卢的机理后，提出了利用图像中值滤波消除噪声的方法：并研究了在FPGA中实现中值滤波的方法；嵌入式ARM处理器LPC2210的功能和使用方法；ARM处理器控制液晶显示器TFT6758的方法；论文详细讨论了ARM处理器和FPGA协调工作以及人机接口的实现等相关问题。论文通过分析CMOS传感器OV9121的控制方法，使用VHDL语言在FPGA中实现对CMOS传感器的控制和图像数据的采集，设计了大容量的双口RAM来缓存数据，并且利用DSPBuilder在FPGA中实现了图像中值滤波的硬件设计。本文研究了ARM处理器LPC2210的特点，提出了利用ARM来控制FPGA图像采集的方法，设计了FPGA和ARM的接口电路和控制方法。编写了LPC2210的BootLoader程序，利用ADSl．2开发软件开发了TFT6758图像显示器的驱动程序，在TFT6758上显示采集到的图像数据。最后本文对系统中存在的问题和今后努力的方向进行了总结。关键词：数字图像采集；FPGA；DSPBuilder；ARM；OV91211．1研究便携式数字图像采集系统的意义视觉是人类最高级的感知器官，在人类感知中扮演着最重要的角色。人类约有70％的外界信息是通过视觉来获得的，图像作为一种重要的信息来源，是人类认识外部世界的有效手段。现代电子技术的高速发展，特别是计算机技术的飞速发展，图像的数字化己成为计算机进行图像处理之自if的必经的基本步骤。随着计算机技术、传感器技术和数字图像处理技术的迅速发展和相互渗透，进一步促进了数字图像技术的不断进步和广泛应用。多媒体通信、高清晰度电视以及图像处理、模式识别和计算机视觉等众多应用领域都对数字图像的采集与处理提出了越来越高的要求，如何获取高质量的数字式图像信息是非常重要的。由于数字图像采集技术在研究被测对象方面具有非接触、可重复性好以及应用对象广泛等优点，使得图像采集在现代测量和检测领域方面具有十分广阔的市场前景。随着数字技术的不断发展，特别足数字图像传感器、大规模存储系统和彩色显示系统的发展，图像的数字处理技术也得到了飞速的发展。数字图像技术越来越多的应用于医学、生物学、法律、国防等众多行业。研究功耗和成本低、体积小、便于携带的数字图像采集系统越来越受到多方面的广泛关注。同时，数字图像采集系统又是传感器、数字图像处理、计算机接口技术等多学科的交叉和综合，涉及知识面广，其成果应用广泛，具有远大的市场前景和研究价值。1．2国内外研究现状采用PC作为主机的图像采集系统在80年代-一90年代开始流行，普遍采用当时的ISA总线，虽然ISA总线的速度为每秒十几兆，但ISA总线标准的发展和改进已经停止，无法满足今后的高速传输数据需求。随着ISA总线接口在PC机上的消失，这种图像采集系统现在已经被使用PCI总线接口方式的图像采集卡所取代。当前流行的基于PC主机的图像采集系统一般是采用PCI总线的图像采集卡，PCI总线速度非常快，达到33MB／s，可以实现摄像机图像到计算机内存的实时传送。在Windows平台上编制图像处理软件，利用高级语言可以开发各种满足需要的模块。由于PCI总线的诸多优点和当前PCI接口在PC机上的普及，这种系统是目前应用最为广泛的图像采集系统。随着半导体技术的不断发展，另一种能脱离PC的图像采集系统也得到了飞速的发展，目前主要有两种实现方式：一种是采用嵌入式处理器ARM+数字信号处理器DSP的方案，ARM作为主控制器，控制图像传感器的图像采集、通讯接口、人机界面等，由DSP完成数字图像处理算法，对数字图像进行算法级处理，这是目前众多便携式图像采集系统的主要构成方式；另外一种是采用DSP+可编程逻辑芯片FPGA或CPLD的实现方法，FPGA或CPLD能利用硬件描述性语言设计复杂的逻辑，可以作为整个系统的协处理器来完成某些复杂、高速传输数据的逻辑接口，例如图像传感器的控制、SDRAM存储等，由DSP完成整个系统的数字图像信号处理运算，配合高速存储设备，实现大数据量的吞吐，这种架构也是目前便携式图像采集系统的常用实现方式。随着现代大容量、高密度、高速度FPGA的出现，在这些FPGA中一般都内嵌有可配置的高速RAM、PLL以及硬件乘法器等DSP专用IP模块，而且在原有逻辑宏单元的基础上嵌入了许多面向DSP的专用模块，结合这些硬件资源使DSP丌发者能十分容易地在一片FPGA上实现整个DSP系统，同时FPGA中能嵌入高速的ROM和RAM模块，实现高达10Mb／s的读写速率(Altera公司的Stratix系列)【8】，FPGA的设计非常灵活，通用DSP芯片通常只有1---4个乘法器，而在FPGA中可以配置数十个乘法器(例如Altera公司最新的低成本的CycloneII系列FPGA可以提供多达150个18×18位的乘法器)，【9】用来实现通用的DSP功能。很多FPGA供应商提供了专用的丌发软件(例如Altera公司的DSPBuilder)，以MATLAB工具箱的形式出现，利用MATLAB中的Simulink工具进行图像化设计，建立各种数字信号DSP模型，完成后利用DSPBuilder将其转换成硬件描述性语言VHDL，通过综合、下载，最后得到能实现DSP功能的FPGA电路。使得DSP开发变得简单，而且FPGA高速硬件实现算法的特点使得系统处理速度和效率得到最大限度的发挥。基于FPGA数字信号处理开发流程见图l一1所示。在研究了很多便携式图像采集系统的结构和特点后，本文选用了直接用FPGA作为整个数字图像采集系统的核心，利用FPGA完成对图像传感器的控制、数字图像的处理，嵌入式ARM处理器作为协处理器，负责控制显示器、人机接口等。1．3本文的研究内容本文在系统分析了嵌入式系统、FPGA的发展和图像处理的有关知识后，结合已有的研究成果，提出了以FPGA和ARM作为系统主体框架的便携式图像采集系统的设计方法，重点研究了系统软硬件构成的若干问题，并通过多种软件模拟了图像采集的软硬件实现效果，以及在图像采集中遇到各种噪声模型的滤波处理的预期效果。1．前言介绍便携式数字图像采集系统的应用前景、当前国内外研究现状及本文研究的主要内容。图l一1FPGA数字信号处理开发流程2．数字图像采集的相关理论主要介绍了与数字图像采集相关的理论和技术基础，对数字图像常见噪声，数字图像处理的基本算法中值滤波、平滑滤波等进行了阐述。3．FPGA实现数字信号的方法介绍了目前FPGA的开发流程，VHDL语言的相关特点和DSPBuilder的使用。4．系统硬件模块设计主要包括本文中所使用的CMOS传感器、FPGA及ARM处理器、FPGA控制CMOS传感器模块、FPGA中值滤波模块的实现、ARM处理器LPC2210硬件模块、TFT6758和ARM的接口模块。5．系统软件设计详细论述了系统的软件设计方法，主要包括ARM处理器LPC2210引导程序的编写、图像显示模块的驱动、人机接口模块，FPGA和ARM协同工作方法等。6．总结及展望讨论了本系统在进行数字图像采集过程中存在的问题、改进的意见和以后的工作中应努力的方向。2．数字图像采集有关理论2．1图像的数字化2．1．1CMOS传感器的工作原理和结构特点I体16lCMOS(ComplementaryMetalOxideSemiconductor，互补型金属氧化物半导体)图像传感器诞生于上个世纪八十年代，时至今R已发展了两代CMOS图像传感器，第一代为CMOS无源像素传感器，第二代为CMOS有源像素传感器。其中以有源像素发展最快，已由最初的几万像素、几十万像素发展至今的百万像素，乃至上千万像素的CMOS图像传感器。用CMOS图像传感器开发的数码相机、微型和超微型摄像机已大批量进入市场。到目前为止，在开发CMOS图像传感器中所采用的先进的关键技术可归纳如下：(1)相关双取样(CDS)电路技术：(2)微透镜阵列制备技术；(3)彩色滤波器阵列技术；(4)数字信号处理(DSP)技术；(5)抑制噪声电路技术；(6)模拟数字转换(A／D)技术；(7)亚微米光刻技术。CMOS传感器采用感光元件作为影像捕获的基本手段，感光元件的核心都是一个感光二极管(photodiode)，该二极管在接受光线照射之后能够产生输出电流，而电流的强度则与光照的强度对应，每个感光元件对应图像传感器中的一个像点，由于感光元件只能感应光的强度，无法捕获色彩信息，因此必须在感光元件上方覆盖彩色滤光片。在这方面，不同的传感器厂商有不同的解决方案，最常用的做法是覆盖RGB红绿蓝三色滤光片，以1：2：1的构成由四个像点构成一个彩色像素(即红蓝滤光片分别覆盖一个像点，剩下的两个像点都覆盖绿色滤光片)，采取这种比例的原因是人眼对绿色较为敏感。CMOS传感器除了处于核心地位的感光二极管之外，它还包括放大器与模数转换电路，传感器中的每一个感光元件都直接整合了放大器和模数转换电路模块，当感光二极管接受光照、产生模拟电信号之后，电信号首先被该感光元件中的放大器放大，然后直接转换成对应的数字信号。数字图像采集有关理论每个像素点的构成为一个感光二极管和三个晶体管，而感光二极管占据的面积只是整个元件的一小部分，造成CMOS传感器的开口率远低于CCD(开口率：有效感光区域与整个感光元件的面积比值)，而且CMOS感光元件中的放大器属于模拟器件，无法保证每个像素点的放大率都保持严格一致，致使放大后的图像数据无法代表拍摄物体的原貌，体现在最终的输出结果上，就是CMOS传感器捕捉到的图像细节丢失情况严重且图像中噪声明显。因而在使用CMOS传感器的时候必须使用多种滤波手段对采集到的数字图像数据进行滤除噪声处理。当然CMOS传感器也具有许多优点：CMOS传感器更容易制造、成本也非常低；CMOS传感器采用标准的CMOS半导体芯片制造技术，很容易实现大批量生产，加之CMOS的每个感光元件相互独立，即便有若干个元件出问题，也不会影响传感器的完整性；CMOS传感器可轻松实现较高的集成度，由于采用半导体工艺制造，厂商可以将时钟发生器、DSP处理芯片等周边电路与CMOS传感器本身整合在一起，从而实现整个图像捕获模块的小型化，也有效降低OEM客户的设计难度，同时设计出体积更小的图像捕获装置；CMOS传感器采用主动式图像采集方式，感光二极管所产生的电荷直接由晶体管放大输出，这种做法虽然导致严重的噪声，但也令CMOS传感器拥有超低功耗的优点，在低功耗、小型化图像采集模块等方面CMOS传感器都有大量的应用。但由于CMOS传感器的结构特点决定了所采集的图像具有大量的噪声，因而CMOS传感器所采集的图像必须采用处理方法进行噪声消除。2．1．2图像的取样与量化自然界中的图像都是模拟的，模拟图像必须首先经过离散化处理后变成计算机能够识别的点阵图像——数字图像，计算机才能进行处理。这个过程被称为图像的采集。为了把一副模拟图像转换为数字图像，必须在坐标和幅度上都进行取样操作。数字化的坐标值称为取样，数字化幅度值称为量化。严格的数字图像是一个经过等距离矩形网格采样，对幅度进行等间隔量化的二维函数，因此数字图像实际上就是被量化的二维采样数组。用厂G，J，)二维函数形式表示图像，在特定的坐标G，少)处，f的值或幅度是一个正的标量，其