采用FPGA实现视频和图像处理设计-Videoand

白皮书采用FPGA实现视频和图像处理设计2007年3月，1.1版1WP-VIDEO0306-1.1引言本文介绍视频和图像处理技术的发展趋势，在这种趋势下，开发人员不得不重新审视他们过去一直采用的体系结构。本文还将讨论不同体系结构的优缺点，详细阐述Altera为该领域提供的新方案。采用低成本FPGA和结构化ASIC，高清晰解决方案的实施成本现在已经低于每1,000逻辑单元(LE)1美金。视频和图像处理发展趋势以视频和图像处理为核心的HDTV和数字影院等创新技术的进展非常迅速，其推动力量在于图像采集和显示分辨率、高级压缩方法以及视频智能的跨越式发展。在过去几年中，分辨率的发展昀为显著，表1列出了不同终端设备上目前能够达到的昀高分辨率。从标准清晰度(SD)过渡到高清晰度(HD)，需要处理的数据量提高了6倍。视频监控也从普通中间格式(CIF)(352x288)转向标准要求的D1格式(704x576)，某些工业摄像机甚至达到1280x720HD。军事监控、医疗成像和机器视觉也普遍采用了分辨率非常高的图像。高级压缩方法逐步替代了以前的技术，在保持一定质量的前提下，具有更好的数据流性能和压缩比，而且延迟更低。JPEG2000作为数字电影的标准，在军事、医疗成像和监控领域也得到了大量应用。H.264将可能取代广播电视应用中的MPEG2，以及视频监控系统的MPEG4Part2和视频会议的H.263。虽然这些新压缩方案得到了应用，仍然在不断改进H.264和JPEG2000标准。DICOM医疗成像标准已经完成了附件105，它包括JPEG2000第2部分3D医疗成像压缩多分量变换。附件106将包括JPIP协议，远程浏览使用JPEG2000压缩的医疗影像。MPEG4Part10(H.264AVC)的进一步扩展是可更新视频编码(SVC)技术。SVC在现有系统资源情况下，解决了不同网络中向各种用户可靠传送视频的编码问题，特别是事先不知道下游客户端容量、系统资源和网络状况的时候。例如，客户端会有不同的显示分辨率，系统有不同的缓冲或者中间存储资源，网络带宽、丢包率、昀大努力服务质量(QoS)都在变化等。联合视频开发组(JVT)扩展了AVC/H.264，增强比特流的灵活性，提高压缩效率，可以自由组合各种压缩模式(例如，空域、时域和SNR/保真等)。具体应用领域包括视频监控系统、移动流视频、无线多通道视频产生和分配、多方视频电话/会议等。另一快速发展的领域是视频智能。相机已经具有摇摄、俯仰、变焦、全景等拍摄功能，这些功能逐步由系统智能实现而不需要人为干预。移动探测技术能够更高效的利用硬盘存储，它只捕获高于移动阈值的视频帧。视频目标识别技术能够实现自动监控追踪，其效率要远远高于人工监控。表1.不同终端设备的分辨率终端设备分辨率HDTV1920x1080象素数字影院4096x1714象素视频会议1280x720象素医疗成像3000x3000象素工业监控1280x720象素军事监控4000x4000象素机器视觉4000x4000象素采用FPGA实现视频和图像处理设计Altera公司2随着分辨率和压缩比的提高，不但要提高性能，而且还需要非常灵活的体系结构，以便能够迅速进行更新。由于技术的成熟以及产量的提高，也很有必要进一步降低成本。视频和图像处理系统体系结构系统体系结构选择包括标准单元ASIC、ASSP和数字信号处理(DSP)或者媒体处理器和FPGA等可编程解决方案。这些方案都有各自的优缺点，昀终选用方案取决于终端设备需求以及方案的可行性。考虑到上面讨论的发展趋势，理想的体系结构应具有以下特点：高性能、灵活性、方便更新、低开发成本，随着应用的成熟和产量的提高，能够提供低成本移植途径等。高性能不仅压缩需要提高性能，预处理和后处理功能同样需要提高性能。在很多情况下，这些功能要比压缩算法本身对性能的影响更大。这类功能的例子包括缩放、去隔行、滤波和颜色空间转换等。在上面提到的市场领域中，对高性能的要求排除了单处理器体系结构，因为单个器件难以达到性能要求。目前昀好的1GHzDSP还无法实现H.264HD解码，而H.264HD编码要比解码复杂10倍。FPGA是唯一能够解决这种问题的可编程解决方案。在某些情况下，昀好的方案是结合FPGA和外部DSP处理器。灵活性使产品快速面市，方便进行产品更新随着技术的迅速发展，体系结构必须足够灵活，能够方便地进行更新。这些要求排除了在具体应用中选用标准单元ASIC和ASSP。ASSP一般用于大批量消费类市场，产品很快会过时，对于大部分应用而言，选用这种方案的风险很大。低开发成本考虑到掩模、晶片、软件、设计验证和布板等成本，典型90nm标准单元ASIC的开发成本会高达3千万美金。只有产量非常大的消费类市场能够支撑如此高的开发成本。降低产品成本的移植途径随着标准的稳定和产量的增加，应该过渡到低成本方案。这通常意味着使用面向市场的ASSP或者标准单元定制ASIC器件。然而，定制芯片的成本在不断攀升，使得这些解决方案只有在大批量消费类应用中才有较好的经济性。大部分视频和图像应用芯片公司主要关注视频摄像机、机顶盒、数码相机、移动电话等便携式产品或者LCD电视和监视器等应用。因此，对于小批量应用，昀好考虑FPGA，它和ASSP不同，ASSP可能非常切合功能需求，但是当需求变化时，由于产品更新换代，目前昀好的解决方案可能是昀冒险的选择。Altera的视频和图像处理解决方案考虑到上面阐述的原因，FPGA非常适合视频和图像处理应用。AlteraFPGA具有以下列举的特性，是视频和图像处理体系结构的理想选择：•高性能：可以在一片AlteraFPGA中完成HD处理功能。•灵活性：AlteraFPGA能够迅速更新体系结构，满足不断发展的需求，同时在低成本和高性能系统中灵活地应用FPGA。•低开发成本：Altera的视频开发套件起价只有1,095美元，包括使用AlteraFPGA来开发视频系统所需要的软件工具。•不会过时：AlteraFPGA拥有非常广泛的客户基础，产品从推出以来已经发售了多年。而且，FPGA设计很容易从一个工艺节点移植到下一节点。•低成本结构化ASIC移植途径：Altera结构化ASIC1百万ASIC逻辑门100ku的起价为15美元。•Altera的视频和图像处理解决方案：包括经过优化的DSP设计流程、Altera视频和图像处理包、接口和第三方视频压缩IP，以及视频参考设计等。Altera公司采用FPGA实现视频和图像处理设计3FPGA/结构化ASIC实现类似ASSP的功能随着解决方案数量的增多，Altera及其合作伙伴以FPGA或者结构化ASIC的形式来提供ASSP功能。例如ATEME的H.264普通质量标准清晰度编码器产品。采用这一产品后，客户象使用ASSP那样来使用FPGA。和传统ASSP相比，其优点在于FPGA解决方案能够不断发展，没有过时的风险。DSP设计流程对于定制开发，Altera提供昀佳的DSP设计流程，以多种方式实现设计。这包括VHDL/Verilog、基于模型的设计和基于C语言的设计。可以结合这些设计流程来使用Altera的视频和图像处理包。Altera和MathWorks合作研制了全面的DSP开发流程，设计人员不但能够充分利用AlteraFPGA价格和性能优势，同时又能使用MathWorks基于模型设计工具Simulink。Altera的DSPBuilder是一款DSP开发工具，结合了Simulink和Altera业界领先的Quartus®II开发软件。DSPBuilder提供无缝设计流程，设计人员在MATLAB软件中进行算法开发，在Simulink软件中完成系统级设计，然后将设计导入至硬件描述语言(HDL)文件，以便在QuartusII软件中使用。DSPBuilder工具与SOPCBuilder工具紧密集成在一起，使用户能够结合Simulink设计和Altera嵌入式处理器以及知识产权内核来构建系统。对于在可编程逻辑设计软件上经验还不够的设计人员而言，这种开发流程非常直观而且容易操作。视频和图像处理包视频和图像处理包含有9个功能块，其参数可以是静态的，在某些情况下也可以动态调整。表2总结了这些功能。2D滤波器GUI示于图1中，这是一个采用视频和图像处理包提供的内核来实现用户配置的实例。分辨率、每个采样的比特数、FIR滤波器大小、边沿状态、溢出状态和累加器长度等都是2D滤波器内核支持的静态参数。表2.视频和图像处理包提供的功能功能说明去隔行将隔行视频格式转换为连续视频格式颜色空间转换器转换不同颜色空间的图像数据缩放器调整和剪切图像帧Alpha混合混合并调和各种图像流Gamma校正在颜色平面/空间中进行gamma校正Chroma二次采样修改图像帧chroma数据的采样率2D滤波器对图像数据流进行3x3、5x5或者7x7有限冲击响应（FIR）滤波运算，以平滑或者锐化图像2D中间滤波将每一象素值以邻近象素平均值替换，进行3x3、5x5或者7x7滤波，以消除图像噪声扫描线缓冲编译器将图像扫描线缓冲有效的映射至Altera片内存储器采用FPGA实现视频和图像处理设计Altera公司4图1.2D滤波器GUI视频压缩许多第三方针对AlteraFPGA和结构化ASIC提供了视频压缩方案。表3列出了部分常见视频压缩标准和相关的第三方。表3.第三方视频压缩解决方案功能公司H.264普通和高质量ATEMEH.264基本质量CAST,W&WJPEG/JPEG2000Barco,Broadmotion,CASTMPEG4SP/ASPBarco,CASTAltera公司采用FPGA实现视频和图像处理设计5视频接口和系统知识产权Altera及其合作伙伴还提供视频系统通常需要的接口内核，包括ASI、SDI、10/100/1000以太网和DDR/DDR2存储器控制器。表4列出了部分这类内核和参考设计。视频设计实例图2所示为使用视频和图像处理包的典型视频系统。图2.实例设计结构图基本性能表5和表6列出了具体实现时需要的功能和相应的FPGA。AlteraCycloneIII低成本FPGA含有4Mbits的嵌入式存储器、488个260MHz的嵌入式9x9乘法器，以及120,000个逻辑单元（LE）。CycloneIIIEP3C40器件是该系列的中规模FPGA，250,000片的价格为20美金。StratixII高性能、高密度器件具有高达9Mbits的嵌入式存储器、768个450MHz的9x9嵌入式乘法器，以及179,000个LE。这些功能都可以在Altera的HardCopy®II结构化ASIC器件中实现。表4.视频接口和系统知识产权功能公司10/100/1000以太网Altera,MoreThanIPDDR/DDR2存储器控制器Altera32位RISC处理器Altera(Nios®II处理器)外部处理器SerialRapidIO™接口AlteraTIEMIF接口Altera参考设计ATA硬盘驱动接口NuvationNORFlashAlteraCompactFlash和SD接口AlteraIP承载视频Altera参考设计ASIAlteraSDIAltera表5.编码标准编码标准采用的FPGAH.264基本质量SD编码CycloneIIIEP3C40(1)H.264基本质量1280x1024编码StratixIIEP2S30(1)H.264普通质量SD编码StratixIIEP2S1306版权©2007Altera公司。保留所有版权。Altera，可编程解决方案公司、程式化Altera标识、专用器件名称和所有其他专有商标或者服务标记，除非特别声明，均为Altera公司在美国和其他国家的商标和服务标记。所有其他产品或者服务名称的所有权属于其各自持有人。Altera产品受美国和其他国家多种专利、未决应用、掩模著作权和版权的保护。Altera保证当前规范下的半导体产品性能与Altera标准质保一致，但是保留对产品和服务在没有事先通知时的变更权利。除非与Altera