理解多媒体、多媒体技术的概念明确多媒体中的主要元素及其特点了解多媒体的关键特性以及这些特性之间的关系了解多媒体的关键技术、主要应用领域和发展方向了解多媒体数据中的冗余以及几种主要压缩算法学习目标1.1多媒体的基本概念1.2多媒体技术的应用与发展1.3多媒体的关键技术1.4多媒体信息的计算机表示1.5多媒体数据压缩技术1.6多媒体与因特网目录1.1多媒体的基本概念1.1.1多媒体的定义1.1.2多媒体技术及其特性1.1.3多媒体中的媒体元素及其特征1.1.1多媒体的定义“多媒体”一词译自英文“Multimedia”即“Multiple”和”Media”的合成其核心词是媒体何谓多媒体呢?媒质:存储信息的实体,如磁盘、光盘、磁带、半导体存储器等。媒介:传递信息的载体,如数字、文字、声音、图形和图像等。媒体(medium)在计算机领域有两种含义:即媒质和媒介。通常概念的“媒体”,可分为以下五种类型:感觉媒体表示媒体显示媒体存储媒体传输媒体感觉媒体:能直接作用于人们的感觉器官,从而能使人产生直接感觉的媒体。如语音、音乐、各种图像、动画、文本等。表示媒体:为了传送感觉媒体而人为研究出来的媒体。借助于此种媒体,便能更有效的存储或传送感觉媒体。如语言编码、电报码等。显示媒体:用于通信中使电信号和感觉媒体之间产生转换用的媒体。如输入、输出设施,键盘鼠标器、显示器、打印机等。存储媒体:用于存放某种媒体的媒体如纸张、磁带、磁盘、光盘等。传输媒体:用于传输某些媒体的媒体,如电话线、电缆光纤等。多媒体计算机技术的定义:计算机综合处理多种媒体信息,文本图形、图像、音频和视频,使多种信息建立逻辑连接,集成为一个系统并具有交互性。1.1.2计算机技术及其特性多媒体计算机技术的三个主要特性信息载体的多样性交互性集成性信息载体的多样性是相对于计算机而言的,即指信息媒体的多样性。多媒体就是要把计算机处理的信息多样化或多维化,从而改变计算机信息处理的单一模式,使人们能交互的处理多种信息。信息载体的多样性交互性多媒体的交互性是指用户可以与计算机的多种信息媒体进行交互操作从而为用户提供了更加有效地控制和使用信息的手段。集成性集成性是指以计算机为中心综合处理多种信息媒体,它包括信息媒体的集成和处理这些媒体的设备的集成。信息媒体的集成包括信息的多通道统一获取、多媒体信息的统一组织和存储、多媒体信息表现合成等方面。多媒体设备的集成包括硬件和软件两个方面。多媒体媒体元素是指多媒体应用中可显示给用户的媒体组成。1.1.3多媒体中的媒体元素及特征音频动画视频文本图形图像文本文本分为非格式化文本文件和格式化文本文件。非格式化文本文件:只有文本信息没有其他任何有关格式信息的文件,又称为纯文本文件。如“.TXT”文件。格式化文本文件:带有各种文本排版信息等格式信息的文本文件。如“.DOC”文件。图形图形(Graphic)一般指用计算机绘制的画面,如直线、圆、圆弧、矩形、任意曲线和图表等。图形的格式是一组描述点、线、面等几何图形的大小、形状及其位置、维数的指令集合。在图形文件中只记录生成图的算法和图上的某些特征点,因此也称矢量图。用于产生和编辑矢量图形的程序通常称为“draw”程序。微机上常用的矢量图形文件有:“.3DS”(用于3D造型)、“.DXF”(用于CAD)、“.WMF”(用于桌面出版)等等。由于图形只保存算法和特征点,因此占用的存储空间很小。但显示时需经过重新计算,因而显示速度相对慢些。图像图像(Image)是指由输入设备捕捉的实际场景画面,或以数字化形式存储的任意画面。静止的图像是一个矩阵,阵列中的各项数字用来描述构成图像的各个点(称为像素点pixel)的强度与颜色等信息。这种图像也称为位图(bit-mappedpicture)。用于生成和编辑位图图像的软件通常称为“paint”程序。图像文件在计算机中的存储格式有多种,如BMP、PCX、TIF、TGA、GIF、JPG等,一般数据量都较大。图像处理时要考虑三个因素:分辨率图像深度与显示深度图像文件大小分辨率屏幕分辨率:显示器屏幕上的最大显示区域,即水平与垂直方向的像素个数。图像分辨率:数字化图像的大小,即该图像的水平与垂直方向的像素个数。像素分辨率:像素的宽和高之比一般为1:1。图像深度和显示深度图像深度(也称图像灰度、颜色深度)表示数字位图图像中每个像素上用于表示颜色的二进制数字位数。显示深度:表示显示器上每个点用于显示颜色的2进制数字位数。若显示器的显示深度小于数字图像的深度,就会使数字图像颜色的显示失真。颜色深度颜色总数图像名称12单色图像416索引16色图像8256索引256色图像1665536HI—Color图像2416672216TrueColor图像颜色深度与显示的颜色数目图像文件大小用字节表示图像文件大小时,一幅未经压缩的数字图像的数据量大小计算如下:图像数据量大小=像素总数×图像深度÷8例如:一幅640×480的256色图像为640×480×8/8=307200字节Comparison:宽度:271高度:300颜色:2大小:9.9KB宽度:271高度:300颜色:4大小:19.8KBComparison:宽度:271高度:300颜色:256大小:79.4KB宽度:271高度:300颜色:真彩色大小:238.2KB音频数字音频(Audio)可分为波形声音语音和音乐。波形声音实际上已经包含了所有的声音形式,它可以将任何声音都进行采样量化,相应的文件格式是WAV文件或VOC文件。语音也是一种波形,所以和波形声音的文件格式相同。音乐是符号化了的声音,乐谱可转变为符号媒体形式。对应的文件格式是MID或CMF文件。计算机音频技术主要包括声音的采集、数字化、压缩/解压缩以及声音的播放。数字化主要包括采样和量化这两个方面。采样频率(samplingrate)是将模拟声音波形转换为数字时,每秒钟所抽取声波幅度样本的次数,单位是Hz(赫兹)。量化数据位数(也称量化级)是每个采样点能够表示的数据范围,经常采用的有8位、12位和16位。例如,8位量化级表示每个采样点可以表示256个不同量化值,而16位量化级则可以表示65536个不同的量化值记录声音时,如果每次生成一个声道数据,称为单声道;每次生成两个声波数据,称为立体声(双声道)。数字音频的存储量:可用以下公式估算声音数字化后每秒所需的存储量(未经压缩的)存储量=采样频率×量化位数÷8例如,数字激光唱盘(CD-DA)的标准采样频率为44.1kHz,量化位数为16位,立体声。一分钟CD-DA音乐所需的存储量为44.1K×16×2×60÷8=10584KB若使用双声道,存储量再增加一倍SamplingResolution8bitSamplingFrequency11KHz+127…+64+320-32-64…-12801001010Comparison:SamplingResolution16bitSamplingFrequency22KHz+32767…+512+1280-128-512…-327680010101100011000Comparison:动画是活动的画面,实质是一幅幅静态图像的连续播放。动画的连续播放既指时间上的连续,也指图像内容上的连续。计算机设计动画有两种:一种是帧动画,一种是造型动画。动画帧动画是由一幅幅位图组成的连续的画面,就如电影胶片或视频画面一样要分别设计每屏幕显示的画面。造型动画是对每一个运动的物体分别进行设计,赋予每个动元一些特征,然后用这些动元构成完整的帧画面。动元的表演和行为是由制作表组成的脚本来控制。存储动画的文件格式有FLC、MMM等视频视频是由一幅幅单独的画面序列(帧frame)组成,这些画面以一定的速率(fps)连续地投射在屏幕上,使观察者具有图像连续运动的感觉。视频文件的存储格式有AVI、MPGMOV等。视频标准主要有NTSC制和PAL制两种。NTSC标准为30fps,每帧525行。PAL标准为25fps,每帧625行。视频的技术参数有:帧速数据量图像质量1.2多媒体技术的应用与发展1.2.1多媒体技术的应用1.2.2多媒体技术的发展方向1.2.1多媒体技术的应用就目前而言,多媒体技术已在商业教育培训、电视会议、声像演示等方面得到了充分应用。在教育与培训方面的应用在通信方面的应用在其他方面的应用在教育与培训方面的应用多媒体技术使教材不仅有文字、静态图像,还具有动态图像和语音等。使教育的表现形式多样化,可以进行交互式远程教学。利用多媒体计算机的文本、图形、视频、音频和其交互式的特点,可以编制出计算机辅助教学CAI(ComputerAssistedInstruction)软件,即课件。在通信方面的应用多媒体技术在通信方面的应用主要有:可视电话视频会议信息点播(InformationDemand)计算机协同工作CSCW(ComputerSupportedCooperativeWork)信息点播有桌上多媒体通信系统和交互电视ITV。计算机协同工作CSCW是指在计算机支持的环境中,一个群体协同工作以完成一项共同的任务。计算机的交互性,通信的分布性和多媒体的现实性相结合,将构成继电报电话、传真之后的第四代通信手段。在其他方面的应用多媒体技术给出版业带来了巨大的影响,其中近年来出现的电子图书和电子报刊就是应用多媒体技术的产物。利用多媒体技术可为各类咨询提供服务,如旅游、邮电、交通、商业、金融、宾馆等。多媒体技术还将改变未来的家庭生活,多媒体技术在家庭中的应用将使人们在家中上班成为现实。1.2.2多媒体技术的发展方向目前,多媒体主要从以下几个方向发展:多媒体通信网络环境的研究和建立将使多媒体从单机单点向分布、协同多媒体环境发展,在世界范围内建立一个可全球自由交互的通信网。对该网络及其设备的研究和网上分布应用与信息服务研究将是热点。1利用图像理解、语音识别、全文检索等技术,研究多媒体基于内容的处理、开发能进行基于内容的处理系统是多媒体信息管理的重要方向。多媒体标准仍是研究的重点:各类标准的研究将有利于产品规范化,应用更方便。它是实现多媒体信息交换和大规模产业化的关键所在。23多媒体技术与相邻技术相结合,提供了完善的人机交互环境。多媒体仿真智能多媒体等新技术层出不穷,扩大了原有技术领域的内涵,并创造新的概念。多媒体技术与外围技术构造的虚拟现实研究仍在继续进展。多媒体虚拟现实与可视化技术需要相互补充,并与语音、图像识别、智能接口等技术相结合,建立高层次虚拟现实系统。45将来多媒体技术将向着以下六个方向发展;1).高分辨化,提高显示质量;2).高速度化,缩短处理时间;3).简单化,便于操作;4).高维化,三维、四维或更高维;5).智能化,提高信息识别能力;6).标准化,便于信息交换和资源共享。1.3多媒体的关键技术1.3.1视频音频数据压缩/解压缩技术1.3.2多媒体专用芯片技术1.3.3大容量信息存储技术1.3.4多媒体输入与输出技术1.3.5多媒体软件技术1.3.6多媒体通信技术1.3.7虚拟现实技术1.3.1视频音频数据压缩/解压缩技术研制MPC需要解决的关键问题之一是要使计算机能适时地综合处理声、文图信息。选用合适的数据压缩技术,有可能将字符数据量压缩到原来的1/2左右,语音数据量压缩到原来的1/2-1/10,图像数据量压缩到原来的1/2-1/60。如今已有压缩编码/解压缩编码的国际标准JPEG和MPEG。1.3.2多媒体专用芯片技术专用芯片是多媒体计算机硬件体系结构的关键。为了实现音频、视频信号的快速压缩、解压缩和播放处理,需要大量的快速计算,只有采用专用芯片,才能取得满意的效果。多媒体计算机专用芯片可归纳为两种类型:一种是固定功能的芯片;另一种是可编程的数字信号处理器(DSP)芯片。1.3.3大容量信息存储技术利用数据压缩技术,在一张CD-ROM光盘上能够存取70多分钟全运动的视频图像或者十几个小时的语言信息或数千幅静止图像。在CD-ROM基础上,还开发了CD-I和CD-V、可录式光盘CD-R、高画质、高音质的光盘DVD以及