第一章+数字视频基础

数字视频处理高绍帅中国科学院研究生院1课程概要课程属性：专业基础课学时/学分：40/2预修课程：《信息论》，《数字信号处理》，《随机过程》教学目的：掌握数字视频处理、编码、通信以及保密等原理，培养解决实际问题的能力了解目前数字视频处理领域的前沿研究进展和发展方向，从而引导同学们开展更深入的专题科学研究课程内容：数字视频基础、运动估计、视频编码、三维视频处理、视频水印等2课程概要课程网站答疑（OfficeHour）时间：周二下午，7-8节地点：玉泉路园区科研楼西楼213室Email:[e-mail]教材黎洪松，《数字视频处理》，北京邮电大学出版社，北京，2006。参考书目YaoWang,JornOstermann,Ya-QinZhang(侯正信，杨喜，王文全译)，《视频处理与通信》，电子工业出版社，北京，2003。A.MuratTekalp(崔之祜，江春，陈丽鑫译)，《数字视频处理》，电子工业出版社，北京，1998。3考核标准课后作业：20%大作业（编程，报告）：20%闭卷笔试：60%4课程内容第一章数字视频基础人类视觉特性，彩色模型，视频简介，多维随机信号与系统，模拟视频信号数字化，视频质量评价，视频模型。第二章二维运动估计基于光流的运动估计，基于像素的运动估计，基于块的运动估计，基于网格的运动估计，基于区域的运动估计，全局运动估计，多分辨率运动估计。第三章三维运动估计基于特征对应的运动估计，基于光流的运动估计，直接运动估计，运动目标分割，运动目标跟踪。5课程内容第四章数字视频编码理论基础，离散信源的无失真编码，预测编码，变换编码，基于内容的视频编码，分级视频编码，视频编码标准。第五章三维视频处理立体视觉，立体成像原理，视差估计，三维变换编码，分布式视频编码，立体视频显示技术。第六章数字视频水印信息隐藏概述，数字水印原理，视频水印概述，视频水印关键技术，视频水印算法。6数字视频基础7提纲人类视觉系统彩色模型视频多维随机信号分析数字化质量评价视频模型8视觉感知人类的感觉视觉、听觉、嗅觉、味觉和触觉“第六感觉”内部因素：人眼——人类视觉系统外部因素：可见光9人类视觉系统人类获取外界图像、视频信息的工具。涉及光学、色度学、视觉生理学、视觉心理学、解剖学、神经科学和认知科学等科学领域。视觉光辐射刺激人眼所引起的复杂的生理和心理变化。人类最重要最完美的感知手段。10人眼的构造视网膜：由大量的光敏细胞和神经纤维组成光敏细胞包括：1）锥状细胞：明亮环境2）杆状细胞：黑暗环境灰度感觉锥状细胞具有3种类型，它们具有不同的光谱特性：红、绿、蓝3个子频段——彩色视觉三基色理论的生理依据Lens（晶状体）：调节焦距11可见光谱780780nm780nm38012明视觉与暗视觉明视觉：日间视觉暗视觉：夜间视觉13人眼视觉亮度视觉也称明暗视觉主要参数：光强、光通量、发光效率、照度、亮度彩色视觉不同的波长呈现不同的颜色不同颜色的亮度不同：红色（最暗）、蓝色和紫色（较暗）、黄绿色（最亮）。颜色感觉参量：亮度、色调、饱和度。色度：色调和饱和度的合称。立体视觉14视觉特性亮度适应性亮暗暗亮亮度变化分辨能力可见度阈值：可分辨的最小亮度差别视觉掩盖效应：复杂而不均匀的背景会导致可见度阈值增大，图像的边缘可以容忍较大的量化误差色调对比效应饱和度对比效应15视觉特性面积对比效应马赫效应人眼对不同空间频率成分的灵敏度中频成分（高），高频、低频成分（低）对图像边缘有增强作用视觉惰性亮度感觉持续性电影播放的原理16闪烁感觉周期性光脉冲照射，当重复频率达到一定值以上无闪烁感觉设计电视系统的重要依据，如“隔行扫描”视野头部不动、眼球转动时所能观察到的空间范围水平视野与垂直视野视觉特性17视觉特性人眼分辨力主要因素：环境照度，景物的相对对比度，被观察物体的距离，运动状态dD6036021θdD18视觉特性彩色分辨力彩色细节分辨力远低于黑白细节分辨力彩色色调分辨力彩色饱和度分辨力黄色（最不敏感）红色和蓝色（非常敏感）19色调分辨阈值与波长的关系视觉系统模型人眼：特殊的光学信息处理系统，相当复杂。视觉模型：用光学系统的概念模拟某些视觉特性视觉信息处理模型20视觉系统模型黑白视觉模型低通滤波器对数运算器高通滤波器人眼光学系统亮度恒定现象侧抑制引起的马赫效应21视觉系统模型彩色视觉模型人类视觉的三基色理论视细胞对光强的非线性响应在视觉通路上的响应22提纲人类视觉系统彩色模型视频多维随机信号分析数字化质量评价视频模型23彩色模型彩色色度学模型CIE-RGB（1931）XYZ（CIE1956)工业彩色模型RGB彩色显示模型（NTSC：美国国家电视委员会）CMYK彩色模型彩色传输模型：YUV、YIQ、YCbCr视觉彩色模型HIS模型（色调、亮度、饱和度）国际照明委员会24三基色原理红绿蓝25RGB彩色模型混色方法1、时间混色法场顺序制彩色电视2、空间混色法彩色显像管3、生理混色法立体彩色电视4、全反射混色法投影电视相加混色26CMYK彩色模型印刷彩色胶片绘画CMY相减混色在CMY三基色中增加黑色（K）以使颜色更加逼真鲜艳27YUV、YIQ、YCbCr模型YUV模型：用于PAL（PhaseAlternatingLine）制式的电视系统，Y表示亮度，UV并非任何单词的缩写。YIQ模型：与YUV模型类似，用于NTSC制式的电视系统。YIQ颜色空间中的I和Q分量相当于将YUV空间中的UV分量做了一个33度的旋转。YCbCr模型：是由YUV颜色空间派生的一种颜色空间，主要用于数字电视系统中。UV/CbCr信号实际上就是蓝色差信号和红色差信号，一定程度上间接地代表了蓝色和红色的强度。28YUV与RGB之间的转换BGRVUY100.0515.0615.0436.0287.0147.0114.0587.0299.0VUYBGR001.0032.2000.1581.0395.0000.1140.1000.0000.129YIQ与RGB之间的转换BGRQIY311.0523.0212.0321.0275.0596.0114.0587.0299.0QIYBGR700.1108.1000.1647.0272.0000.1620.0956.0000.130YCbCr与RGB之间的转换BGRCCYrb25621256110256131256131256872564425629256150256771281281281283441.07140.00000.17720.10000.00000.10000.04020.10000.1rbCCYBGR31色度取样格式(ITU-TBT.601)4:4:44:2:04:2:24:1:132提纲人类视觉系统彩色模型视频多维随机信号分析数字化质量评价视频模型33视频由许许多多幅按时间序列构成的连续图像每一幅图像称为一帧活动图像电视，电影等视频表示三维视频二维视频),,,,(tzyxfI),,,(tyxfI),,(tyxfI亮度（灰度）信号34视频信号的特点直观性生动、深刻、具体、直接确定性“百闻不如一见”高效性并行信息处理系统广泛性80%的信息来自视觉高带宽性传输、存储压缩35模拟视频普通广播电视单一的时间函数的电信号，其电平高低反映了亮度大小光栅扫描逐行扫描隔行扫描光栅特性每秒取样的帧数fp：时间分辨率每秒扫描行数n：空间垂直方向分辨率基本参数清晰度、分解力、宽高比、行频、场频、帧频36逐行扫描水平扫描垂直扫描优点：*减少屏幕大面积闪烁和边缘闪烁*分解力高*图像清晰、稳定缺点：带宽要求高37隔行扫描奇数场偶数场优点：压缩一半频带而不明显降低图像质量缺点：行间闪烁视觉疲劳垂直分辨率下降38模拟电视系统模拟电视系统标准NTSC制北美、日本PAL制欧洲、中国SECAM制前苏联、东欧复合视频信号彩色视频信号兼容于黑白电视将RGB转换成YUV（PAL）或YIQ（NTSC）39模拟电视系统标准40复合视频信号PAL制式NTSC制式41数字视频高清晰度电视（HDTV）网络多媒体视频会议监视控制远程医疗航空航天军事教育电影42数字视频的特点便于存储和通信便于处理和加密无噪声积累差错可控制可进行压缩编码便于设备小型化信噪比高稳定可靠交互能力强43数字视频采集数字摄像机模拟视频信号数字化亮色分离低通滤波抽样量化编码复接Y全电视信号低通滤波抽样量化编码Cb低通滤波抽样量化编码Cr矩阵变换低通滤波抽样量化编码复接Y低通滤波抽样量化编码Cb低通滤波抽样量化编码Cr编码输出RGB44数字视频的参数时间分辨率：帧频fp空间分辨率：M行N列MxN位深：每个像素的比特数Nb信息传输速率：MxNxfpxNbPAL彩色数字视频信号RGB（Nb=3x8=24）Fp=25fpsM=576，N=720信息传输速率：720x576x25x24249Mbps45数字视频格式46提纲人类视觉系统彩色模型视频多维随机信号分析数字化质量评价视频模型47多维随机信号分析多维信号与系统二维数字系统模型二维数字图像的冲激函数表示mnnnmmnmxnmx),(),(),(x(m,n)y(m,n)T[·]othernmnm0,001),(48多维随机信号分析线性系统同时满足叠加原理和齐次原理叠加原理：若则有齐次原理：若则有)],([),()],,([),(2211nmxTnmynmxTnmy)],(),([)],([)],([),(),(212121nmxnmxTnmxTnmxTnmynmy)],([),(nmxTnmy)],([)],([),(nmxaTnmaxTnmay49线性系统线性系统对几个激励的线性组合的整体响应等于单个激励所产生的响应的线性组合。T[·]多维随机信号分析移不变系统输入输出保持相同的时间关系51tt0(t-t)t0(t)th(t)0th(t-t)t0多维随机信号分析线性移不变系统同时满足线性条件和移不变条件线性移不变系统线性移不变系统的输出),(),(),(),(]),([),(]),(),([)],([),(nmhnmxnnmmhnmxnnmmTnmxnnmmnmxTnmxTnmymnmnmn)],([),(nmTnmh为冲激响应52二维离散傅里叶变换建立了离散时域（空域）与离散频域之间的关系时域（空域）上处理图像计算复杂度大，不能实时处理DFT简化了运算（如：时域或空域卷积变成了频域上的相乘运算），且有快速算法（FFT）1010)(2exp),(),(MmNnnlmkNjnmflkF10102)(2exp),(1),(MkNlnlmkNjlkFNnmfnlNjmkNjnm