视频信息处理与传输课题研究报告

课程研究报告课程：视频信息处理与传输班级：电子110x班姓名：xxx学号：xxxxxxxx指导老师：詹曦2014年12月21日课程学习目的：视频信息处理是数字媒体技术与传输系列课程中的一门专业必选课，学习的目的是让我们系统地理解和掌握视频信息的采集、压缩编码、运动估计、滤波、数字水印的嵌入与抽取、视频信息检索、视频信息传输等数字视频技术、并灵活应用。注重理论与实践结合、培养学生在视频信息处理与传输应用领域从事研究、教学、产品设计及管理工作的初步能力。以视频信息应用系统为主线，系统地介绍视频信息采集、处理、检索、传输等方面的基本理论和相关技术及标准。学习的内容目录第一章视频信息处理与传输概述1.1信息传输发展历程1.2信息安全与信息垃圾1.3视频信息应用系统第二章视频信息采集技术2.1视频信息基础2.1.1时变图像构成模型2.1.2模拟视频2.1.3数字视频2.1.4数字视频格式2.2视频信息采样理论2.2.1图像的视觉基础2.2.2视频的采样结构2.2.3采样图像的量化2.3CCD图像传感器与视频采集卡第三章视频信息压缩编码及标准3.1视频信息压缩的必要性与可行性3.2视频信息压缩的分类3.3视频信息压缩的评价指标3.4典型的视频信息压缩编码方法3.5视频信息压缩编码标准第四章视频信息传输网络及协议4.1视频信息传输网络4.1.1协议体系结构4.1.2数据通信理论4.1.2传输介质4.1.3网络通信系统4.2视频信息传输协议4.2.1以太网协议4.2.2IP协议：IPv4、IPv64.2.3TCP、UDP协议4.2.4RTP、RTCP协议第一章视频信息处理与传输概述随着科学技术的日新月异，视频信息处理与传输的技术也成了人们关注的一个热点。从采集到应用系统，每步都在提升，此文着重讲了里面几部分比较热门的研究点。视频压缩是为了节约空间和方便传输，依据不同的视频用不同的编码压缩；而压缩之后人们会关注视频还原的质量如何，于是就有了视频质量的评价；信息安全与信息垃圾就如人们的生活中的隐私与生活垃圾一样重要，如何维护信息的安全和如何处理信息垃圾已成为一个热点。视频信息处理与传输的研究领域有：1、采集2、压缩编码3、视频信息处理技术4、视频质量评价5、视频信息检索6、视频信息传输7、视频传输协议8、视频传输质量评价9、应用系统研究热点：1、视频压缩2、信息安全与信息垃圾3、视频转码4.视频信息检索视频压缩编码：视频压缩的目标是尽可能保证视觉效果的前提下检索视频数据率。视频压缩比一般指压缩后的数据量与压缩前的数据量之比。由于视频是连续的静态图像，因此其压缩编码算法与静态图像的压缩编码算法有些共同之处，但是运动的视频还有其自身的特性，因此在压缩时还应考虑其运动特性才能达到高压缩的目的。在视频压缩中常用到以下一些基本概念：一、有损和无损压缩：在视频压缩中有损（Lossy）和无损（Lossless）的概念与静态图像中基本类似。无损压缩也即压缩前和解压缩后的数据完全一致。多数的无损压缩都采用RLE行程编码算法。有损压缩意味着解压缩后的数据与压缩前的数据不一致。在压缩的过程中要丢失一些人眼和人耳所不敏感的图像或音频信息，而且丢失的信息不可恢复。几乎所有高压缩的算法都采用有损压缩，这样才能达到低数据率的目标。丢失的数据率与压缩比有关，压缩比越大，丢失的数据越多，解压缩后的效果一般越差。此外，某些有损压缩算法采用多次重复压缩的方式，这样还会引起额外的数据丢失。二、帧内和帧间压缩：帧内压缩也称为空间压缩。当压缩一帧图形时，仅考虑本帧的数据而不考虑其相邻帧之间的冗余信息，这实际上与静态图像压缩类似。帧内一般采用有损压缩，由于帧内压缩时各个帧之间没有相互关系，所以压缩后的视频信息数据仍可以以帧为单位进行编码。帧内压缩一般达不到很高的压缩。视频质量评价：视频质量评价分为两个方面：主观和客观评价。主观评价：视频质量主观评价凭感知者主观感受评价视频对象的质量，包括视觉信息的录入系统，即人眼成像系统；视频信息处理系统，即人脑对视觉信息的加工。成像系统与信息处理系统两部分互相结合，对视频评价的结果产生显著的影响，目前尚没有合适的数学模型对其进行精确的刻画。客观评价：目前，视频客观质量评价一般是通过模拟HVS的生理特征建立视觉感知模型，并将模型的输出值作为质量的评价或失真的度量，研究集中在如何提高模型输出与主观评价结果的相关性。目前已有多种基于HVS生理特征的质量客观评价方法：感知模拟器模拟人眼时域的平滑效应和掩蔽效应，分析了人眼的不对称评价方式，即相对图像质量从差到好的变化；快效应检测联合掩蔽效应模型进行质量评价能给出质量客观评价，它也可以用于衡量视频块效应的严重程度。信息安全与信息垃圾：信息安全是指信息网络硬件、软件及其系统中的数据受到保护，不受偶然或者恶意的原因而遭到破坏、更改、泄露。系统连续可靠正常地运行，信息服务不中断。信息安全主要包括以下五方面：保证信息的保密性、真实性、完整性、未受权拷贝和所寄生系统的安全性。信息安全的根本目的就是使内部信息不受外部威胁，因此信息通常要加密。为保障信息安全，要求有信息源认证、访问控制，不能有非法软件驻留，不能有非法操作。信息垃圾就是那些混在大量有用信息中的无用信息、有害信息，以及对人类社会的各个方面带来危害的信息。它对信息安全应用和转播构成了威胁。比如计算机病毒；通过网络传播的黄色淫秽、背离社会道德、国家法律的信息。视频信息检索视频检索把图像检索、模式识别、图像数据库技术等技术成果结合了起来,有着广阔的发展前景,并将在许多领域中道得到应用。视频检索就是要从大量的视频数据中找到所需的视频片断。根据给出例子或是特征描述,系统就能够自动的找到所需的视频片断点,即实现基于内容的视频检索。根据提交视频内容的不同,视频检索一般分为镜头检索和片段检索。一般来说,片段的概念等价于场景的概念,也是由一连串语义相关的连续镜头构成,不同的是,片段可以是一段完整场景的部分或者全部。目前视频检索的多数研究还集中在镜头检索上。而片段检索方面的研究则刚刚开始。实际上,从用户的角度分析,他们对视频数据库的查询通常会是一个视频片段而很少会是单个的物理镜头。从信息量的角度分析,由几个镜头组成的视频片段有比单个镜头更多的语义,它可以表示用户感兴趣的事件,因此,查询的结果也比较有意义。例如在新闻中检索感兴趣的事件、电影中检索喜欢的情节、体育节目中检索喜爱的体育运动、电视台检索某条广告是否播出等。第二章视频信息采集技术2.1视频信息基础：静态图像+时间-视频信息优点:储存便利便于编辑便于提供新业务图像质量好(数字视频)2.1.1时变图像构成模型时变图像：图像由三维空间投影到二维平面形成，并随着时间的变化，其场景中的实体也将发生变化的过程形成的。数学表达式:2.1.2模拟视频模拟视频:视频的记录、存储和传输以模拟的形式进行。全电视信号考虑要索：清晰度、闪烁性、彩色黑白兼容性、占用带宽等权衡。电视扫描:将二维图像变成一维的像素串，或者将一维像素串变换为原图像的过程，称为扫描。行扫描和场扫描。逐行扫描和隔行扫描。2.1.3数字视频电视图像数字化方法：数字视频结构它由多幅连续的图像序列构成。具有时间和空间二维结构。典型格式：音频：WAV,MP3,WMA,AAC,M4A,OGG,APE,AC3,RMA视频：AVI,VCD,SVCD,DVD,MPG,WMV,ASF,RM,RMVB,FLV,F4V,MOV,QT,MP4,MPEG4,3GP,3G2,MKV,TS,TP,MTS,M2TS,MOD,TOD,SDP,YUV图像：JPG、PNG、ICO、BMP、GIF、TIF、PCX、TGA2.1.4数字视频格式数字视频结构典型格式：WAV,MP3,WMA,AAC,M4A,OGG,APE,AC3,RMAAVI,VCD,SVCD,DVD,MPG,WMV,ASF,RM,RMVB,FLV,F4V,MOV,QT,MP4,MPEG4,3GP,3G2,MKV,TS,TP,MTS,M2TS,MOD,TOD,SDP,YUVJPG、PNG、ICO、BMP、GIF、TIF、PCX、TGA2.1.4数字视频格式AVI视频格式ASF视频格式RM视频格式2.2视频信息采样理论连续图像需要用空间和时间两种变量对其采样。形成时空图像视频信号。2.2.1图像的视觉基础图像概念图像是当光辐射能量照在物体上，经过它的反射或者投射，或由发光物体本身发过来的光的能量，在人的视觉器官中所重现出来的物体的视觉信息。图像分类:按其亮度可以分为二值图像灰度图像按色调不同可以分为:无色调的灰度图像有色调的彩色图像图像分辨率：在位图图像处理时必须区分的三种分辨率描述：①屏幕分辨率是指在某一特定显示模式下，计算机屏幕上以水平和垂直的像素表示的最大显示区域。②图像分辨率是指数字化图像的大小，以水平的喝垂直的像素表示。③像素分辨率是指一个像素的宽和长的比例，有时候也称像素的长宽比。人眼的视觉特征：①在亮度大的区域，对灰度误差不敏感。②对亮度信号的空间分辨率大于对色度信号的空间分辨率。③容易感觉到边缘位置的变化。对于边缘的灰度误差不敏感，对灰度变化平缓区域的灰度变化敏感。④画面切换后约100ms时间内，分辨率较低。⑤对不同频率的信号有不同的灵敏度，对高频分量不敏感，允许较粗的量化。2.2.2视频的采样结构采样：就是把一副连续图像在空间上分割成MxN的网格，每个网格用一亮度值来表示。正交采样点阵:其中，每一个圆圈表示一个像素位置，数字表示采样的次数。二维结构采样:静态图像：二维采样函数：三维结构采样:一个任意周期几何图形的二维采样的概念推广到三维采样结构上对时变图像sc(x,t)=sc(x1,x2,t)的采样。矩阵表示法定义的一个点阵：2.2.3采样图像的量化图像的空间取样：1、指图像空间位置的数字化，即指图像的空间取样，通过采样把一副完整的图像分割成无数众多的离散像素的阵列。2、指图像灰度的数字化，即指从图像灰度的连续变化进行离散的采样。在数字图像处理技术上，亮度信号的取样频率为13.5MHz，理由如下：①按照奈奎斯特取样定理，取样频率至少应为信号上限频率的2倍，为获得满意的图像质量，在PAL制中亮度信号要求5.8--6MHz的带宽。因此，取样频率应大于12MHz。②为了取样后保证产生足够小的混叠噪声，要求取样频率是信号宽带的2.2-2.7倍。因此对PAL制信号，取样频率应大于13.2MHz。③为了获得正交取样结构，取样频率必须是行频的整数倍。④为了实现两种扫描制度式PAL和NTSC兼容，应采用同一种取样频率，625行制的行频为15.265Hz，525行制的行频为15.734Hz，两者的最小公倍数为2.25MHz。2.3CCD图像传感器与视频采集卡CCD图像传感器-工作原理:CCD是一种光电转换半导体器件，在N型或P型硅衬底上生长一薄层的二氧化硅，再在二氧化硅层上依次沉积金属电极，这种规则排列的MOS电容阵列再加上两端的输入、输出二极管就构成CCD芯片。CCD的基本功能是电荷的存储和电荷的转移。工作时，需要在金属栅极上加一定的偏压，形成势阱以容纳电荷，电荷的多少与光强成线性关系。电荷读出时，在一定相位关系的移位脉冲作用下，从一个位置移动到下一个位置，直到移出CCD，经过电荷-电压变换，转换为模拟信号。CCD图像传感器-优点:CCD是一种固体化器件，体积小、重量轻、功耗低、抗震性和抗冲激性好、不受电磁干扰和可靠性高、寿命长。图像畸变小、尺寸重现性好。具有较高的空间分辨率，光谱响应范围宽。光敏元间距的几何尺寸精度高，可获得较高的定位精度和测量精度。具有较高的光电灵敏度和较大的动态范围。视频采集卡-概述视频采集卡(VideoCapturecard)也叫视频卡，是将模拟摄像机、录像机、LD视盘机、电视机输出的视频信号等输出的视频数据或者视频音频的混合数据输入电脑，并转换成电脑可辨别的数字数据，存储在电脑中，成为可编辑处理的视频数据文件。视频采集卡的分类:广播级视频采集卡。专业级视频采集卡。民用级视频采集卡。视频采集卡-工作原理：第三章视频信