第六章多媒体技术基础

第六章多媒体技术基础多媒体基础知识多媒体信息处理多媒体计算机系统多媒体技术应用动画制作基础6.1多媒体技术的基本概念媒体（Medium）是信息的表现形式或传播的载体。在计算机领域有如表现形式:1.用以存储信息的实体，如磁带、磁盘、光盘和半导体存储器。2.信息的载体，如数字、文字、声音、图形和图像。多媒体：多媒体就是指文本、声音、图形、图像和动画等信息载体中的两个或多于两个的组合成的人—机交互信息交流和传播媒体。多媒体技术：指运用计算机进行综合处理多媒体信息（文本、声音、图形、动画、图像等）的技术，包括给各种信息建立逻辑连接，进而集成一个具有交互性的系统。超媒体是一种网状的结构形式。结构中节点中的数据可以为文字、图形、图像、声音、动画、动态视频、计算机程序或它们的组合。多媒体信息的类型文本（text)：是用得最多的一种符号媒体形式，由数字、字母及专用符号组成。超文本是一种文本，与传统的文本文件相比主要差别是，传统文本是以线性方式组织的，而超文本是以非线性方式组织的。图形：描画出物体的轮廓、形状或外部的界限。图形（Graphics）指利用相关的绘图软件提供的绘图功能绘制直线、圆、圆弧、任意曲线等组成的形状。图像（Image）：能为人类视觉系统所感知的信息形式或人们心目中的有形想像。可由扫描仪、数字照相机、摄像机等设备进行画面录入，数字化后以位图形式存储。音频（Audio）：包括音乐、话语及各种动物和自然界发出的各种声音。属于听觉类媒体，其频率范围大约在20Hz～20kHz之间。视频（Video）：一系列的静态图像或图形在一定时间内连续变化的结果。通常可通过录像带、摄像机、影碟机等视频信号源设备获取。动画（Animation）：利用人的视觉暂留特性，当一系列图形或图像的画面按一定的时间在人的视线中经过时，人脑所产生物体运动的印象。多媒体技术的基本特性多样性多媒体是多种单媒体，如文本、图形、动画、图像、声音的整合。也就是指信息媒体的多样化或多维化。多媒体技术的基本特性（续）交互性在多媒体系统中，除了操作上控制自如之外，在媒体综合处理上也可以随心所欲，这种交互操作也必然要求多媒体具有实时性，要求整个系统的软硬件系统都能实时响应。从数据库中查找某人的相貌、声音及文字材料，这是初级交互应用。通过交互特性使用户介入到信息过程中，不仅仅是提取信息，这是中级交互应用。当我们完全地进入到一个与信息环境一体化的虚拟信息空间中时，这是高级交互应用。多媒体技术的基本特性（续）集成性多媒体技术能将各种不同的媒体信息有机地进行同步组合成为一个完整的多媒体信息。能把不同的媒体设备集成在一起，形成多媒体系统。在硬件上，具有能够处理多媒体信息的高速并行处理机系统、大容量的存储、适合多媒体、多通道的输入输出能力及外设、宽带的通信网络接口。在软件上，有集成一体化的多媒体操作系统，适合多媒体信息管理和使用的软件系统、创作工具和高效的应用软件等。多媒体技术的基本特性（续）实时性由于多媒体技术是研究多种媒体集成的技术，其中声音及活动的视频图像是与时间密切相关的，这就决定了多媒体技术必须要支持实时处理。如播放时，声音和图像都不能出现停顿现象。多媒体信息处理的关键技术1.多媒体数据压缩/解压缩技术2.多媒体数据存储技术3.多媒体专用芯片技术4.多媒体输入/输出技术5.多媒体软件技术6.多媒体通信技术7.虚拟现实技术1．多媒体数据压缩/解压缩技术多媒体信息数字化后的数据量非常庞大，必须对数据进行压缩编码，既可节省存储空间，又可提高传输效率，使得计算机能够实时处理和正常播放视频和音频信息。多媒体信息处理的关键技术2．多媒体数据存储技术多媒体数据量非常大，如何实现大容量信息的存储是多媒体技术关键所在，实现这一技术主要还是依靠数据的压缩和解压缩技术，利用数据压缩技术，在一张CD-ROM光盘上能够存取70多分钟全运动的视频图像或者十几个小时的语言信息或数千幅静止图像。多媒体信息处理的关键技术3．多媒体专用芯片技术。多媒体信息的处理需要大量的计算，只有采用专用芯片，才能取得满意的效果。多媒体计算机专用芯片可归纳为两种类型：一种是固定功能的芯片；另一种是可编程的数字信号处理器（DSP）芯片。多媒体信息处理的关键技术4．多媒体输入与输出技术多媒体输入/输出技术包括媒体变换技术、媒体识别技术、媒体理解技术和媒体综合技术。多媒体信息处理的关键技术5．多媒体软件技术多媒体软件技术主要包括：多媒体操作系统、多媒体素材采集与制作技术、多媒体编辑与创作工具、多媒体数据库技术、超文本/超媒体技术和多媒体应用开发技术。多媒体信息处理的关键技术6．多媒体通信技术多媒体通信技术包含语音压缩、图像压缩及多媒体的混合传输技术。多媒体信息处理的关键技术7．虚拟现实技术虚拟现实就是利用计算机技术生成的一个逼真的视觉、听觉、触觉及嗅觉等的感觉世界，用户可以用人的自然技能对这个生成的虚拟实体进行交互考察。多媒体信息处理的关键技术多媒体技术的应用领域流媒体：以将音频、视频等多媒体文件能在Internet上以实时、无需下载等待的流式传输方式进行播放的技术。1.互联网直播2.视频点播3.模式识别4.远程教育5.视频会议6.MIS系统多媒体技术的发展趋势多媒体技术的网络化发展趋势MPEG-4蓝牙技术-低功率、短距离的无线连接技术的别称多媒体终端的部件化、智能化和嵌入化发展趋势文字识别语音识别嵌入式多媒体系统6.2多媒体信息处理一、数字音频数字音频是指用一系列的数字来表示音频信号，即把模拟音频信号转换成有限个数字表示的离散序列，从而实现音频数字化。在这一处理技术中，要考虑采样、量化和编码的问题。音频信号数字化过程如下:(1)选择采样频率，进行采样；(2)选择分辨率，进行量化；(3)编码形成声音文件。1.采样（sampling）采样就是把时间上连续的信号，通过抽取样本，变成在时间上不连续的信号序列，即A/D模数转换，其功能是将模拟信号变换成数字信号。根据采样定理，采样的频率至少高于信号最高频率的2倍。采样的频率越高，声音“回放”出来的质量也越高，但是要求的存储容量也越大。在多媒体中，对于音频，最常用的有三种采样频率：44.1kHz；22.05kHz；11.025kHz。其中22kHz和44kHz采样频率是最常采用的频率。采样示例2.量化将采样后得到的音频信息数字化的过程称为量化。它是指把采样所得的值（通常为反映某一瞬间声波幅度的电压值）数字化，即用二进制来表示模拟量。用来表示一个电压模拟值的二进数位越多，音频的分辨率也越高。国际标准的语音编码采用8位，即可有256个量化级。在多媒体中，对于音频，分辨率(量化的位数)可采用16位，它对应65536个量化级。3.编码数字化的波形声音是一种用二进制表示的串行比特流，它遵循一定的标准或规范进行编码，其数据是按时间顺序组织的。一般说来，要求声音的质量越高，则量化级数和采样频率也越高，为了保存这一段声音的相应的文件也就越大，即要求的存储空间越大。声音通道的个数表明声音记录是只产生一个波形（单声道）还是产生两个波形（立体声双声道）。立体声的声音有空间感，但需要两倍的存储空间。对于单声道，决定数字录音文件大小的公式为：S=R×D×(r/8)×1S表示文件大小，单位为字节；R表示采样速率，单位为kHz，也可叫采样频率；D表示录音的时间，单位为秒；r表示分辨率，单位为二进制位（bit），如8位、16位等；式中的数字1表示对应的单声道。公式中的“除以8”是为了把二进制位换算成以字节作为单位，一个字节等于八位二进制位。对立体声，决定数字录音文件大小的公式与单声道的情况类似（仍以字节为单位），如下式所示：S=R×D×(r/8)×2其中各符号的含义与上式相同，惟一不同的是乘以数字2，表示对应立体声，也就是说，立体声的文件大小为单声道的两倍。例如，如果采样速率为441kHz，分辨率为16位，立体声，上述条件符合CD质量的红皮书音频标准，消费者级的音频压缩盘即按此录制。在录音的时间长度为10秒时，文件的大小S为:S=(44100×10×16/8)×2=1764kB对音频的数字化来说，在相同条件下，立体声比单声道占的空间大、分辨率越高则占的空间越大、采样速率越高则占的空间越大。总之，对于音频的数字化要占用很大的空间，因此，对音频数字化信号进行压缩是十分必要的。在多媒体技术中，存储声音信息的常用文件格式主要有：WAV文件、VOC文件、MIDI文件、AIF文件、SNO文件和RMI文件等。常用的声音压缩标准MPEG-1：运动图像专家组1991年制订的数字存储运动图像及伴音编码标准。MPEG-1标准适用于VCD等数字存储介质。在影像格式方面，由于受到CD传输速率(1.5Mb／s)的限制，其影像分辨率比现行电视要差些。在声音格式方面，用256kb／s速率可进行与CD相同音质的立体声编码。MPEG-2标准MPEG-2是MPEG-1的扩充、丰富和完善。MPEG-2标准的视频数据速率为4.15Mb／s，能提供720×480(NTSC)或720×576(PAL)分辨率的广播级质量的视像，适用于包括宽屏幕和高清晰度电视(HDTV)在内的高质量电视广播。MPEG-4由运动图像专家组定义。适用于窄带可视电话，通过语音与图像的合成，利用分数几何、计算机显示与人工智能技术以最少量的数据来建立精确的画面，是交互式基于内容的压缩标准声音文件存储格式1.WAV文件WAV文件也称为波形文件，是Windows所使用的标准数字音频，文件的扩展名是WAV。它是对实际声音进行采样所得到的数据。使用波形文件能够记录和重现各种声音，从不规则的噪声到美妙的音乐。波形文件最大的缺点就是文件太大，不适合长时间记录声音。2.MIDI文件MIDI是MusicalInstrumentDigitalInterface（乐器数字接口）的缩写，MIDI文件的扩展名为MID。MIDI文件不对音乐进行采样，而是对音乐的每个音符记录为一个数字，所以与波形文件相比文件要小得多，可以满足长时间音乐的需要。MIDI标准规定了各种音调的混合及发音，通过输出装置可以将这些数字重新合成为音乐。3.CDAudio文件扩展名为CDA，唱片采用的格式，无法编辑，文件长度大。4.MPEG-3文件扩展名为MP3，压缩率大。5.Realaudio文件扩展名为RA和RM。高压缩量比，极小的失真。6.WMA文件WindowsMediaAudio文件。压缩比及音质方面均超过了MP3。二、图形和图像图像的分类：位图和矢量图位图图像是指在空间和亮度上已经离散化的图像。位图式图像是由许多点组成的，这些点称为像素。每个像素可以具有不同的颜色和亮度，像素也是能独立地赋予颜色和亮度的最小单位。位图图像适用于逼真照片或要求精细细节的图像。矢量图是用一系列计算机指令来描述的，一幅图由一系列图元组合而成。图形是一种抽象化的图像，是把图像按某个标准进行分析而产生的结果。它不直接描述数据的每一点，而是描述产生这些点的过程和方法。通常，将图形称之为矢量图形。屏幕分辨率是指监视器整个显示屏分辨率。如用640×480表示屏幕分辨率（VGA标准）。其中640指的是在每一条水平扫描线上显示出640个点（即象素），或者换句话说，每一条水平扫描线是由640个点构成的虚线；而480指的是一个屏上总共有480条水平扫描线图像分辨率图像分辨率表明了图像要用多少像素组成一幅图像。例如320×240的图像和640×480的图像在屏幕上所点的区域在相差了一倍。图像色彩深度位图中记录每个像素点所占的位数，它决定了彩色图像中可出现有最多顏色数。色彩类型(1)RGB模式：用红(R)、绿(G)、蓝(B)三基色来描述颜色的方式叫RGB模式。(2)CMYK模式：该模式是一种基于四色印刷的印刷模式，是相减混色模式。C表示青色，M表示品红色，Y表示黄色，K表示黑色。(3)HSB模式：该模式是利用颜色的三要素来表示颜色的，H表示色调，S表示饱和度，