第7章_多媒体hy

第1页2019/10/13中山大学计算机科学系了解多媒体信息的基本数字化处理技术和多媒体计算机系统的组成第2页2019/10/13中山大学计算机科学系第7章多媒体技术基础多媒体技术概述多媒体信息的数字化处理多媒体计算机系统第3页2019/10/13中山大学计算机科学系7.1多媒体技术概述7.1.1基本概念一、媒体与多媒体媒体是信息表示、存储和传播的载体。分为5类：（1）感觉媒体：是直接作用于人的感官、使人产生感觉的媒体，如语言、文字、图形、图像等。（2）表示媒体：如文字、图像、音频编码等。（3）表现媒体：键盘、鼠标、扫描仪等。（4）存储媒体：磁盘、光盘、U盘等。（5）传输媒体：电话线、网线等。其中，表示媒体是核心。第4页2019/10/13中山大学计算机科学系7.1多媒体技术概述在多媒体技术中，“媒体”一词通常是指感觉媒体，分为文字、音频、图形、图像、视频和动画等单媒体。多媒体是多种媒体的综合，也就是指融合两种或两种以上感觉媒体的一种人机交互式信息交流和传播的媒体。第5页2019/10/13中山大学计算机科学系7.1多媒体技术概述二、多媒体技术多媒体技术是指利用计算机综合处理图、文、声、像等媒体信息的技术。具有以下特点：（1）集成性（2）交互性（3）实时性第6页2019/10/13中山大学计算机科学系7.1多媒体技术概述7.1.2多媒体处理的关键技术一、数据压缩技术二、多媒体专用芯片技术三、多媒体输入/输出技术四、多媒体存储技术五、多媒体通信技术六、多媒体软件技术七、虚拟现实技术第7页2019/10/13中山大学计算机科学系7.1多媒体技术概述7.1.3多媒体技术的应用领域(1)教育与培训(2)电子出版物(3)娱乐应用(4)视频会议(5)咨询演示(6)艺术创作(7)模拟训练第8页2019/10/13中山大学计算机科学系7.1多媒体技术概述7.1.4多媒体技术的发展一、起步阶段（1984~1985，Amiga系统）二、快速发展阶段（1985~1992年，CD-ROM→Windows3.1）与此同时，数据压缩理论的深入研究和大规模集成电路制造技术的发展，为多媒体设备的研制打下了坚实的理论和技术基础。各种处理音频、视频的专用插卡纷纷面世，使多媒体计算机的发展和应用进入了高潮。三、标准化阶段（1991年~至今，MPC-1→MPC-2→MPC-3→MPC-4）四、应用发展阶段（1990年~至今）第9页2019/10/13中山大学计算机科学系7.2多媒体信息的数字化处理7.2.1音频信息7.2.1.1基本概念音频（Audio）是声音采集设备捕捉或生成的声波以数字化形式存储，并能够重现的声音信息。音频技术主要包括声音的采集、数字化、压缩/解压缩以及声音的播放。第10页2019/10/13中山大学计算机科学系7.2多媒体信息的数字化处理声音是由空气中分子振动而产生的一种机械振动波，通常用模拟的连续波形描述声波形状，如图7.1所示。其中基线是测量模拟信号的基准点；振幅是波形相对基线的最大位移，反映音量；周期表示两个相邻波峰（或波谷）之间的时间长，而周期的倒数就是频率，表示每秒振动的次数，以赫兹（Hz）为单位。频率反映音调。第11页2019/10/13中山大学计算机科学系7.2多媒体信息的数字化处理7.2.1.2模拟音频的数字化将随时间连续变化的声波模拟信号转换成离散变化的数字信号，这个过程也称为模/数（A/D）转换；反之，播放数字音频时进行数/模（D/A）转换。模拟音频的数字化包括采样、量化和编码三个步骤，如图7.2所示。第12页2019/10/13中山大学计算机科学系7.2多媒体信息的数字化处理采样是指每隔一个时间间隔在模拟音频波形上取一个幅度值，从而把连续的模拟信号转换为采样值序列。其中，时间间隔称为采样周期，其倒数是采样频率，单位是赫兹（Hz），其中44.1kHz是高保真采样频率。量化是指按照量化编码表，把每个原始采样值转换为量化值。所谓采样精度是指表示采样量化值的二进制位数。编码是指将已量化的音频数值数据表示成计算机的二进制格式，从而最终将模拟音频信号转换为数字音频信号。第13页2019/10/13中山大学计算机科学系7.2多媒体信息的数字化处理7.2.1.3数字音频的技术指标数字音频的质量取决于采样频率、采样精度和声道数存储容量的基本计算公式是：采样频率×采样精度×声道数×时间／8例如以44.1kHz采样频率、16位采样精度录制1分钟立体声所需字节是：60×44.1×1000×16/8×2=10584000Byte≈10.1MB第14页2019/10/13中山大学计算机科学系7.2多媒体信息的数字化处理7.2.1.4常见音频文件类型（1）光盘数字音频（简称CD-DA）文件（2）波形音频（WAV）文件（3）乐器数字接口（简称MIDI）文件（4）MP3（MPEGAudioLayer3）音频文件（5）WMA（WindowsMediaAudio）音频文件（6）RA（RealAudio）音频文件第15页2019/10/13中山大学计算机科学系7.2多媒体信息的数字化处理7.2.2图像信息7.2.2.1基本概念模拟图像是指人们在日常生活中接触到的各类图像（如图片、照片、X光片等）数字图像是用数据表示的图像图像处理技术包括图像数字化、图像编辑、压缩与解压缩、增强与复原以及图像识别等。数字图像分类：图像（也称位图）和图形第16页2019/10/13中山大学计算机科学系7.2多媒体信息的数字化处理位图图像定义：由排列成若干行、列的光点组成的像素点阵图像分辨率：阵列中列数和行数的乘积。位图图像优劣：优点：视觉效果好，生动逼真，适合于表现层次和色彩比较丰富、包含大量细节的图像。缺点：清晰度与分辨率有关，放大后会出现锯齿、变模糊第17页2019/10/13中山大学计算机科学系7.2多媒体信息的数字化处理图形定义：是指使用绘图指令描述的由直线、曲线等图元组成的图像。一般分为二维图形和三维图形两大类。优劣：优点：图形质量与分辨率无关，占用存储空间很小，放大与缩小不会失真，适于表示由有规律的线条组成的图像缺点：图形越复杂显示时间越长，难以表示人物、景色照片一类的彩色图像。第18页2019/10/13中山大学计算机科学系7.2多媒体信息的数字化处理7.2.2.2图像数字化图像数字化是指将由连续的各种不同颜色、亮度的点组成的模拟图像转换成由一系列离散数据表示的数字图像。图像数字化过程：采样→量化采样是指以一定垂直间隔将图像在水平方向上分割成若干个小区域，每个小区域就是一个采样点，对每个采样点只采用其若干数据（如颜色、亮度值）。采样结果是生成M×N个像素点的集合。量化是用一定的数据格式来表示每个采样点的颜色、亮度等信息。第19页2019/10/13中山大学计算机科学系7.2多媒体信息的数字化处理7.2.2.3颜色模式颜色模式用于描述图像色彩，有以下几种：（1）RGB模式（R：红色，G：绿色，B：蓝色）（2）HSB模式H：色调，表明光谱波长，决定颜色，如红、绿等色S：饱和度，颜色纯度从0%（灰色）→100%（纯色）B：亮度，0%（黑色）→100%（白色）（3）索引颜色模式：使用调色板（注：相当于一个由颜色索引值到RGB颜色值的映射表）存放并索引图像中的颜色。第20页2019/10/13中山大学计算机科学系7.2多媒体信息的数字化处理7.2.2.4颜色深度颜色深度是表示图像中每个像素颜色值的二进制位数，深度与颜色总数对应关系如表7-3所示图像容量分辨率越高、颜色位数越多，图像越逼真，但容量也大计算公式。例如，若不压缩，一幅分辨率为640×480的真彩色图像文件大小为：640×480×24/8=921600Byte=900KB第21页2019/10/13中山大学计算机科学系7.2多媒体信息的数字化处理7.2.2.5常见图像文件类型BMP：Windows中的标准图像文件格式，支持黑白图像、16色和256色图像及真彩色图像。GIF：主要用于在不同的平台上进行图像交流和传输。GIF压缩比较高，文件较小；其GIF89A格式支持动画。其缺点是最多只能处理256种颜色。JPG：是24位颜色的图像文件格式，由于其高效的压缩率和标准化要求，被广泛应用。PNG：是一种网络图形格式。使用高速交替显示方案，显示速度很快，只需要下载1/64的图像信息就可以显示出低分辨率的预览图像。常见的图形文件有CDR、DWG、WMF、AI等格式第22页2019/10/13中山大学计算机科学系7.2多媒体信息的数字化处理7.2.3视频信息7.2.3.1基本概念视频：是一种动态图像，由连续渐变的静态图像或图形序列组成，其中每幅图像称为帧。帧速率：每秒显示的帧数目，典型帧速为24～30fps，且一般伴有同步的声音。视频分为模拟视频和数字视频模拟视频是指用模拟信号形式进行记录、存储和传输的视频，如电影、电视数字视频是以数字方式记录的视频信号。分辨率用来表示视频的清晰度，一般用水平方向和垂直方向的像素乘积表示。第23页2019/10/13中山大学计算机科学系7.2多媒体信息的数字化处理7.2.3.2视频数字化视频技术包括视频数字化和视频编码两方面：视频数字化是指将模拟视频信号经模数转换和彩色空间变换转换为数字信号视频编码技术则是将数字化的视频信号经过编码成为模拟信号数字化方法：在一段时间内以一定的速度对模拟信号进行捕获并加以采样，最后形成数字视频。视频捕捉卡抓图软件第24页2019/10/13中山大学计算机科学系7.2多媒体信息的数字化处理数字视频的质量采样频率：每秒所捕获的画面帧数采样深度：采样后每帧图像的颜色位数视频数据量：在不压缩的情况下，数据量的大小是帧数目乘上每幅图像的数据量。例如，对于一段视频，每帧是分辨率为640×480的24位真彩色图像，按25帧/秒连续播放10分钟，则数据量是：640×480×24/8×25×60×10=13824000000Byte≈12.9GB第25页2019/10/13中山大学计算机科学系7.2多媒体信息的数字化处理7.2.3.3常见视频文件类型（1）MPEG格式：采用有损压缩方法减少运动图像中的冗余信息，同时保证每秒30帧的动态图像刷新率，已被几乎所有的计算机平台共同支持。MPEG产品有VCD、SVCD、DVD（2）AVI格式：是Microsoft公司推出的数字视频格式。其优点是图像清晰，易于编辑；缺点是所需存储空间较大（3）RM格式：是RealNetworks公司设计的流式视频格式，主要用来在低速率的广域网上实时传输活动视频影像第26页2019/10/13中山大学计算机科学系7.2多媒体信息的数字化处理（4）ASF和WMV格式：都是微软设计的流式视频格式，采用MPEG-4压缩算法，图像压缩和质量比VCD差一点，但优于RM格式（5）MOV格式：是Apple（苹果）公司设计的一种音频、视频格式，支持25位色彩，提供多种视频和MIDI声音效果，能够通过Internet提供实时的数字化信息流。（6）DivX格式：是微软设计的视频编码技术，使用MPEG-4压缩算法。DivX可以说是针对DVD而产生的，使用DivX技术可以把1张DVD盘压缩到2张CD盘中第27页2019/10/13中山大学计算机科学系7.2多媒体信息的数字化处理7.2.4动画7.2.4.1基本概念动画也是一种动态图像。与视频类似，区别在于：动画的每帧图像由人工或计算机绘制；而视频的每帧图像是对自然景象或活动对象的实时摄取。动画分类：逐帧动画：是由一幅幅内容相关的位图组成连续画面关键帧动画：只创作关键帧，自动计算中间帧造型动画：设计每个角色，在脚本控制下进行表演第28页2019/10/13中山大学计算机科学系7.2多媒体信息的数字化处理7.2.4.2常见动画文件类型（1）GIF动画：是CompuServe公司开发的动画格式，由若干静态图像形成动画。（2）FLIC动画：FLIC