数字视频图像处理与通信2视频的图像表示

第（1）页第2章视频的图像表示第（2）页目录•2.1图像的视觉基础•2.2颜色模型•2.3图像的数字化•2.4图像格式•2.5数字视频格式第（3）页2.1图像的视觉基础•2.1.1图像的概念1.图像的基本概念•光通量；亮度2.亮度适应和区分–韦伯率实验（一个确定人的视觉系统区分亮度能力的经典实验）–实验表明：亮度区分能力在低照明情况下较差，此时韦伯率大；在背景亮度增强时改进多，此时韦伯率小。第（4）页•还要说明的是，对于我们的视觉系统，感觉到的亮度并不等于光的强度，这可以由以下两个概念说明。–（1）马赫带效应：均匀亮度条带，看起来左边亮些而右边暗些。第（5）页–（2）同时对比度效应：两个同样大小同样亮度的小方块，放在暗的背景中的一块看起来比放在亮的背景中的另一块看起来要亮一点。第（6）页3.图像的分类•按其亮度等级的不同：可分为二值图像（只有黑白两种亮度等级）和灰度图像（有多种亮度等级）。•按其色调的不同：可分为无色调的灰度（黑白）图像和有色调的彩色图像。•按其内容的变化性质不同：可分为静止图像和活动图像。•按其所占空间的维数的不同：可分为平面的二维图像和立体的三维图像等。4.图像的获取传感器的三种类型：（1）单个传感器（2）线阵传感器（3）面阵传感器第（7）页分辨率•2.1.2分辨率–对于空间上或时间上两个相邻的视觉信号，人们刚能鉴别出二者存在（差别）的能力称为视觉系统的分辨率。–分辨率是影响位图质量的一项指标。–数字图像的“分辨率”指的是单位长度中，所表达或包含的像素数目。–分辨率直接影响到图像的质量，一般分辨率越高，像点密度也越高，图像对细节的表现能力越强，清晰度就越高。–按应用场合不同，可将分辨率分为屏幕分辨率和输出分辨率两种。第（8）页（1）图像分辨率：指图像中存储的信息量，通常用像素/英寸（pixelperinch，ppi）表示。（2）显示分辨率：指构成画面的像素的多少，数值越大，图像也就越清晰。•以乘法形式表示，如1024×768，其中1024和768分别表示屏幕上水平方向和垂直方向显示的像素点数。•显示器的最大分辨率与显示区域的大小、显像管点距（屏幕上两个相邻同色荧光点之间的距离）、视频带宽等因素有关。最大分辨率=显示区域的宽或高/点距。第（9）页（3）打印分辨率：又叫做输出分辨率，通常以点/英寸（dotperinch，dpi）表示，它决定了打印机打印图像时所能表现的精细程度，也称打印精度•图像大小与分辨率之间的关系可以利用下列的计算公式加以表示：–图像的大小=图像的分辨率×打印的尺寸–图像的大小/图像的分辨率=打印的尺寸–对特定的图像而言，图像的大小是固定的，所以，分辨率和打印尺寸便呈现反比的关系。第（10）页人眼的视觉特性•2.1.3人眼的视觉特性–人眼主要有以下视觉特性：•由于人眼对亮度响应的非线性特性，在亮度大的区域，人眼对灰度误差不敏感，韦伯率就是对这种现象的一种描述，在这些区域量化时可粗糙些。•人眼对亮度信号的空间分辨率大于对色度信号的空间分辨率，所以在对色度信号编码前可以先进行空间亚抽样，以提高压缩比。•图像边缘信息对视觉很重要，特别是边缘的位置信息，人眼容易感觉到边缘位置的变化，而对于边缘部分的灰度误差，人眼并不敏感。相反，在灰度变化较平缓的区域，灰度的少量变化就已被人眼发现。第（11）页•画面切换后约100ms时间内，人眼分辨率较低，这种效应称之为掩蔽效应。由于掩蔽效应，人眼对画面中人移开后刚露出的背景分辨率也较低。典型的视角仅为5°，这是边缘掩盖了邻近像素的作用，使人眼对这些像素不敏感、不精确。•视觉系统的时间和空间频率特性是相互依赖的。第（12）页2.2颜色模型•2.2.1颜色基础知识1.颜色与光密不可分•随着波长由长到短，呈现的颜色依次为：红、橙、黄、绿、青、蓝、紫。2.物体的颜色•两种不同的来源：一种是发光体所呈现的颜色；另一种是物体反射或透射的彩色光。3.人眼对颜色的感知•三基色混合原理：任何颜色都可以通过三基色按不同比例混合得到。第（13）页RGB模型•2.2.2颜色模型的基本概念1.RGB模型•红、绿、蓝三基色按照不同的比例相加合成的混色称为相加混色。•红色+绿色=黄色，绿色+蓝色=青色，红色+蓝色=品红，红色+绿色+蓝色=白色。•黄色、青色、品红都是由两种颜色相混合而成的，所以它们又称相加二次色。另外，红色+青色=白色，绿色+品红=白色，蓝色+黄色=白色。所以青色、黄色、品红分别又是红色、蓝色、绿色的补色。第（14）页HSI模型2.HSI模型•H表示色调（Hue），S表示饱和度（Saturation），I表示密度（Intensity，对应成像亮度和图像灰度）。•亮度是光作用于人眼所引起的明亮程度的感觉。•色调是当人眼看一种或多种波长的光时所产生的彩色感觉，它反映颜色的种类，决定颜色的基本特性。•饱和度是颜色的纯度，即掺入白光的程度，指颜色的深浅程度。•通常把色调和饱和度通称为色度。亮度表示某彩色光的明亮程度，而色度则表示颜色的类别与深浅程度。第（15）页–人的视觉系统经常采用HSI颜色空间，它比RGB颜色空间更符合人的视觉特性。•从RGB颜色空间转换到HSI颜色空间，具体公式如下：BGRI31)],,[min()(31BGRBGRS2/12)])(()[(2/)]()[(arccosBGBRGRBRGRH第（16）页YUV颜色空间3.YUV颜色空间•YUV（也称YCrCb）是被欧洲电视系统所采用的一种颜色编码方法（属于PAL）。•与RGB视频信号传输相比，YUV最大的优点在于只需占用极少的频宽（RGB要求三个独立的视频信号同时传输）。•其中“Y”表示明亮度（Luminance或Luma），也就是灰度值；而“U”和“V”表示的则是色度（Chrominance或Chroma），作用是描述影像色彩及饱和度，用于指定像素的颜色。第（17）页–YCrCb颜色空间是由YUV颜色空间派生的一种颜色空间，主要用于数字电视系统中。–三者与RGB的转换方程如下：•RGB→YUV：–Y=0.299*R+0.587*G+0.114*B–U=-0.147*R-0.287*G+0.436*B–V=0.615*R-0.515*G-0.100*B•实际上也就是：–Y=0.299R+0.587G+0.114B–U=0.493(B-Y)–V=0.877(R-Y)第（18）页•RGB→YIQ：•RGB→YCrCb：第（19）页真彩色、伪彩色与直接色4.真彩色、伪彩色与直接色•真彩色（TrueColor）是指在组成一幅彩色图像的每个像素值中，有R、G、B三个基色分量，每个基色分量直接决定显示设备的基色强度，这样产生的彩色称为真彩色。•伪彩色(PseudoColor)图像的含义是，每个像素的颜色不是由每个基色分量的数值直接决定，而是把像素值当做彩色查找表(ColorLook-UpTable，CLUT)的表项入口地址，去查找一个显示图像时使用的R、G、B强度值，查找出的R、G、B强度值产生的彩色称为伪彩色•直接色（Direct-Color）是通过每个像素点的R、G、B分量分别作为单独的索引值进行变换，经相应的色彩变换表找出各自的基色强度，用变换后的R、G、B强度值产生的色彩。第（20）页2.3图像的数字化•一般情况下应包含以下两方面的内容：–图像空间位置的数字化，即图像的空间取样。通过采样把一幅完整的图像分割成无数离散像素组成的阵列，称为空间的离散化。–图像灰度的数字化，即从图像灰度的连续变化中进行离散的采样。目前使用的灰度量度有26＝64级、27＝128级和28＝256级，它们都是对连续变化的灰度的离散取值。第（21）页2.3.1图像的采样•一维采样mxmxxs)()(f(x)00xu-WWF(u)△xS(x)△x0x10S(u)……-1—△x—u(a)(d)(c)(b)()()()sfxfxsx第（22）页•一维采样s(x)f(x)F(u)*S(u)Wxu△x12△x—-W00-12△x—0s(x)f(x)F(u)*S(u)0ux-12△x—12△x—W-W0h(x)|s(x)f(x)|H(u)*|F(u)*S(u)|0ux……(g)(i)(j)(h)(e)(f)第（23）页•二维采样–令f(x,y)为一个有限带宽的二维连续图像函数，f(x,y)的傅里叶变换对为。二维取样函数为–式中，△x、△y分别为x、y方向的取样间隔。上式是脉冲函数在x、y方向以△x、△y为间隔的展开。(,)(,)mnsxyxmxyny第（24）页脉冲函数阵列第（25）页–和一维采样类似，对图像f(x，y)取样，就是将f(x，y)乘以采样函数s(x，y)。采样后图像为–取样函数s(x，y)的频谱为(,)(,)(,)sfxyfxysxymnmnynyxmxynxmfynyxmxyxf),(),(),(),(mnynvxmuyxvus)1,1(1),(第（26）页根据取样定义和傅里叶变换卷积定理，可得出f(x,y)、、s(x,y)三者之间的频域关系为∆u=1/∆x，∆v=1/∆y，展开卷积式并进一步整理，得：–由上式不难看出，取样图像的频谱是连续图像谱在(u，v)方向上以一定间隔(1/∆x，1/∆y)的分布。若f(x,y)的频谱是有限带宽的，设uc和vc为其在u轴和v轴方向的频谱宽度，当满足1/∆u≥2uc,1/∆v≥2vc时，取样就不会出现重叠现象。),(),(),(vusvuFvuFsmnsvnumuyxvuFvuF),(),(),(mnvnvumuFyx),(1(,)sfxy第（27）页2.3.2图像的量化•1.均匀量化–量化引入误差：–量化引入误差ε的方差：–可以证明，p(r)为常数时，满足下式的引入误差最小：–所以：iqr1)()(2iirridrrpqrE1()/2iiiqrr0,1,2,i1()/2iiirqq0,1,2,i第（28）页非均匀量化•2.非均匀量化–通常有两种方式：•基于人的视觉特性要求，对于亮度值急剧变化的部分没有必要进行过细的分层，只需进行粗量化；而对亮度值变化比较平缓的部分，就要进行较细的分层，即需进行细量化。•先计算所有可能的亮度值出现的概率分布，对于出现概率大的那些亮度值进行细量化，对于出现概率小的那些亮度值则进行粗量化第（29）页–非均匀采样是指在细节多的区域就采样密一些，在平滑的区域就采样少一些。–非均匀量化是指对图像中像素灰度值频繁出现的灰度值范围，量化间隔小一些，而对像素灰度值极少出现的灰度范围，则量化间隔大一些。–两个概念：•空间分辨率：即图像的大小，空间分辨率=最大行数每行的最大像素数。•灰度分辨率：即一个像素值单位幅度上包含的灰度级，用一个字节存储一个像素值，则灰度级数为256；用4bit存储一个像素值，则灰度级数为16。第（30）页2.3.3图像的表示•可以用f(x,y)函数的离散取值的矩阵形式表示出来，矩阵行列的各个元素表示组成图像的离散像素，而代表像素的矩阵中每一元素的取值也都是图像上连续变化的灰度的离散的整数取值。•假设在像素取样和灰度级量化上都按照等间隔离散采样，并且排成一个N×N的矩阵，则有矩阵元素f(i,j)表示图像在第i行第j列的像素的灰度值。),()2,()1,(),2()2,2()1,2(),1()2,1()1,1(),(NNfNfNfNfffNfffyx第（31）页图像根据其描述的方式，可以分为：•黑白图像：是指图像的每个像素只能是黑或者白，没有中间的过渡，故又称为二值图像。二值图像的像素值为0、1。每个像素只需用1位存储。•灰度图像：是指每个像素的信息由一个量化的灰度级来描述的图像。灰度图像