实时信号处理系统设计

课程名称：实时信号处理系统设计论文名称：基于DSP+FPGA的实时视频信号处理设计专业：电子信息工程年级：大四学号：班级：姓名：一、摘要：实时视频信号处理的实时性和跟踪算法的复杂性是一对矛盾,为此采用DSP+FPGA的架构设计,同时满足实时性和复杂性的要求,提高了系统的整体性能。DSP作为主处理器,利用其高速的运算能力,快速有效地处理复杂的跟踪算法;FPGA作为协处理器,完成视频图像的接收、存储、预处理,使设计具有更大的灵活性。系统采用了形心跟踪和相关跟踪两种算法。实验证明,该系统可以稳定地实时跟踪运动目标。二、引言：实时视频信号处理技术的应用领域十分广泛,民用领域如机器人视觉、资源探测、天气预报和各种医学图像分析,军用领域如导弹的精确制导、战场的动态分析等,都利用了实时视频信号处理技术，这些应用对实时性和识别跟踪精度等都有较高的要求,因此如何处理实时性和复杂的识别跟踪算法这对矛盾,是进一步提高系统性能的关键。本文设计并实现了一种基于DSP+FPGA的实时数字视频信号处理系统。DSP作为主处理器,处理复杂的跟踪算法;FPGA作为协处理器,接收来自COMS相机的数字视频信号,控制视频数据缓存SDRAM并进行图像预处理。整个系统具有很强的处理能力,很好地解决了实时性和复杂的跟踪算法间的矛盾,与单独使用DSP或者FPGA的系统相比较,系统性能得到了很大的提高。三、系统总体设计：采用FPGA+DSP的系统结构,具有处理效率高、开发周期短、支持更高计算处理能力的优点,是开发难度和系统成本的折衷。图1为系统的总体框图。图1系统的总体框图系统的主处理器选用TI公司高性能的定点DSPTMS320C6416。TMS320C6416是TI公司推出的高速定点DSP,时钟频率最高可达1GHz,其最主要的特点是采用了先进的甚长指令结构(VLIW),每个时钟周期可以执行8条指令,所有指令都可以条件执行,完成1024点定点FFT的时间只需10微妙,比传统DSP快1~2个数量级,其高速处理能力优势明显。FPGA选用Xilinx公司的XC3S200AN。XC3S200AN是Xilinx公司Spartan3AN系列的FPGA,具有200k的系统门,288kB的blockRAM,16个专用乘法器,4个DCM,最大可达195个用户I/O引脚,高达4MB的集成式Flash存储器,可用于器件配置及系统资源,省了宝贵的板上空间,降低了成本。系统的工作过程是:图像接收模块接收从CMOS相机传来的数字图像数据并将其存储到SDRAM(由SDRAM控制器控制对SDRAM的读写)然后FPGA读取SDRAM中的图像数据进行如中值滤波等预处理的工作,并将结果再次存入SDRAM。此时,FPGA的图像接收、SDRAM控制器控制读写、图像预处理算法等均完成。随后,DSP读取SDRAM中预处理后的数据进行目标跟踪,得出目标的位置和大小等,并将结果通过RS232串口传给下级系统。2.1图像接收模块该模块的主要功能是接收CMOS相机输出的数字图像信号,包括同步信号和数据信号,并将这些数字图像信号暂存到输入FIFO中。FIFO接收来自相机的图像数据并进行缓冲,产生符合SDRAM控制器位宽的数据信号。FIFO半满时发出半满信号,通知SDRAM控制器读取数字图像数据到SDRAM。图像接收和存储可以同步进行,便于实现实时跟踪。2.2SDRAM控制器模块由于图像数据流的数据量大、实时性要求高,所以需要高速大容量的存储器作为图像数据缓存。SDRAM具有容量大、价格低廉等优点,成为图像处理中常用的数据存储器。但是,SDRAM控制较复杂,需要处理预充、刷新、换行等操作,因此有必要设计SDRAM控制器来完成与SDRAM的接口。在以SDRAM为缓存的系统中,使用可编程器件对其进行控制具有很强的灵活性。本设计采用MICRON公MT48LC16M16A2,它是单片容量为256MB的SDRAM。图2是SDRAM控制器的功能框图。主要模块的主要功能为：(1)模式配置模块:配置SDRAM的模式寄存器。(2)刷新模块:为SDRAM提供刷新控制以保持内部数据。(3)主状态机:对各种命令进行译码,仲裁、控制状态转移。直接控制SDRAM,将用户产生的地址命令进行解析,产生读、写、刷新等一系列操作。对SDRAM发出的各种命令要符合特定的时序要求,在上电时还必须完成对SDRAM的初始化工作。(4)地址/数据选择:为SDRAM的读写生成数据路径。建立用户与SDRAM的数据通道,在SDRAM和用户接口之间传递需要写入或者读出的数据,并且调整对应读、写操作的DQM信号时序,使其满SDRAM的要求。缓存从SDRAM中读出的数据,由于直接读出的速度非常高,直接处理会对后端产生很大的压力,因此需要进行缓存之后才送到DSP进行后续处理。图2SDRAM控制器的功能框图2.3图像处理模块本设计选用TMS320C6416作为跟踪算法的主处理器。TMS320C6416有丰富的L2RAM资源(00000000--000FFFFF),系统运行时通过EDMA方式把程序和数据搬移到内部RAM,从而实现整个系统程序高速运行,非常适合实时图像处理。为了满足系统实时性的要求,采用PingPong缓存方案实现图像数据的传输,对所有的输入和输出数据流使用两组数据缓冲区。当EDMA向(或从)Ping缓冲区传输数据时,CPU可以对Pong缓冲区内的数据进行操作。当EDMA和CPU的活动均完成时,它们之间进行切换,EDMA向(或从)Pong缓冲区传输数据,CPU对Ping缓冲区的数据进行操作。如此循环,则EDMA对数据的搬移和CPU数据的处理可以同时进行,从而大大提高系统的效率。使用EDMA的参数连接可以实现EDMA传输Ping�Pong缓冲区的自动切换而不需CPU的干预。当然,实现这种切换的前提是在切换到一个缓冲区前CPU己经完成对该缓冲区数据的处理。在实时图像处理中CPU处理一帧图像的时间比采集一帧图像的时间要短,所以这个前提是可以保证的。为了实时跟踪运动目标,采用在视频信号的正程处理图像信号和提取跟踪信息,在视频信号的消隐期间将处理得到的目标位置大小等传给下级系统。三、系统软件流程系统上电后,TMS320C6416实现自引导,从FLASH拷贝用户程序到内部RAM之后转入中断等待状态。FPGA初始化后接收当前视场中的目标图像数据并将其存储到SDRAM。FPGA预处理目标图像数据,进行如中值滤波等预处理的工作,处理完之后再次存入SDRAM并触发中断(本设计采用EXTINT4)给TMS320C6416,通知DSP取走数据。所有的图像数据搬移都可由EDMA在CPU处理的后台进行TMS320C6416直接从内部RAM读取图像数据进行处理。TMS320C6416处理完图像数据后,通过RS232串口将目标的位置等信息传送给下级系统,等待下一帧图像的到来。软件流程图如图3所示。图3软件流程图四、目标跟踪算法视频跟踪有波门跟踪和相关跟踪两种方式。常用的波门跟踪方法有形心跟踪、边缘跟踪、面积平衡跟踪等。本文采用形心跟踪和相关跟踪算法。4.1形心跟踪算法目标的形心是目标图像上一个确定的点,当目标姿态变化时,这个点的位置变动很小,所以用形心跟踪目标比较平稳,而且抗干扰能力强。根据公式(1)可以得到目标的形心。f(j,k)是图像在(j,k)点的像元灰度值,分割后值为1或0,(x,y)为目标区域的形心。形心跟踪的应用是在精确分割出目标图像的前提下实现的,用自适应阈值与区域生长法相结合的方式可以比较精确地分割出目标。波门的尺寸略大于目标图像,使波门紧紧套住目标图像,避免目标受波门外背景和噪声干扰的影响。波门还可以控制所要处理的图像大小,仅对感兴趣的局部图像进行实时处理。因此形心跟踪算法非常适合于实时跟踪运动目标。4.2相关跟踪算法相关跟踪又称图像配准法。相关跟踪通过求取基准图像(目标模板)与被测量目标图像相似度来获取目标的相对坐标,求出目标位置。将目标图像上各点和目标模板上对应点进行灰度差相加求和,灰度差的和越小则两图像越相似,为零时,则表示两图像完全匹配。设实时图像为S(x,y),大小为n*m个像素,模板图像Q(x,y),大小为u*v个像素,其中0=u=n,v=m。(k,h)为模板图像在景物图像中的偏移值。R(k,h)为相关系数。（2）相关跟踪无需对图像进行分割和特征提取处理。在原始图像数据上进行运算,保留了图像的全部信息。因此相关跟踪比形心跟踪能够利用更多的目标信息,这在许多复杂的场景中是一种切实可行的跟踪测量方法。但是相关跟踪算法的计算量较大,要求跟踪目标的运动速度不能过快,否则会因为前一场取得的目标模板在下一场图像中无法匹配到跟踪位置,导致跟踪失败。本文提出的硬件设计已经通过实验验证,满足了系统的性能要求,可在实际系统中稳定可靠地运行。实验证明:在该硬件平台上加载形心跟踪算法,搜索范围为120*80时,跟踪用时0.527ms。在该硬件平台上加载相关跟踪算法时,波门大小为100*80,模板大小为60*48,跟踪用时5.5ms。处理一场数据需要的时间不到18ms,小于CCIR标准20ms的场周期,完全可以满足实时跟踪的要求。五、总结：为期半个学期的实时信号处理课就快结束了，通过学习这门课程，让我受益匪浅，学到了很多东西。在学完后写论文的过程中虽然遇到了很多问题，但通过查资料，请教同学等途径终于将其得以完成。同时，在写论文的过程中让我感触很深，使我对抽象的理论有了具体的认识。通过本次论文的设计，使我了解了实时信号处理这门课程在现实生活中的具体应用。本次设计把理论应用到了实践中，同时通过设计，也加深了自己对理论知识的理解和掌握，在解决困难的过程中，获得了许多专业方面的知识,拓展了视野。提高了理论水平和实际的动手能力，学会了解决问题的方法，激发了我们的探索精神。这样的课程设计是很好的锻炼机会,希望老师以后也多安排一些这些方面的论文设计，通过本次论文设计使我深入了解到课程设计在大学学习的重要性，课程设计增强了我们的实践动手能力，也为大四后学期的毕业设计提供了宝贵的经验。