第1章 多媒体技术概述

第1章多媒体技术概述本章重点：多媒体技术的概念及其特点多媒体技术的应用领域多媒体研究的主要内容与涉及的核心技术本章概要：1.1多媒体技术的相关概念1.2多媒体技术的发展1.3多媒体技术的应用领域1.4多媒体研究的主要内容与核心技术1.5本章小结1.1多媒体技术的相关概念1.1.1媒体1.1.2多媒体1.1.3多媒体技术的基本特征1.1多媒体技术的相关概念任何系统理论的产生，都是为了满足人们的需求或需要。计算机科学技术与其所属的各个分支学科也是如此。人们利用计算机进行了各种各样的探索和尝试，逐渐发展起来图形处理技术、动画技术、视频捕捉技术与编辑回放技术、虚拟现实技术等。伴随着这些技术不断进步，诞生了计算机科学技术的一个非常具有活力的分支——多媒体技术。1.1.1媒体“媒体”即媒介、媒质，它是信息的载体，是一种传播和表达信息的方法和手段。媒体在计算机领域具有两种解释：一是指用以存储信息的物理介质，如磁带、磁盘、光盘和半导体存储器等；二是指传递信息的载体，如数字、文字、声音、图像和图形等。在多媒体技术中，将媒体(Media)定义为信息的载体，媒介(Medium)定义为用于存储、呈现或传输媒体的设备或物理介质。1.1.1媒体国际电信联盟（ITU）根据信息被人们感觉、表示以及实现存储或进行传输的载体不同，将媒体分为了如下六个大类：1.感知媒体(PerceptionMedium)指人们的感觉器官所能感觉到的信息的自然种类，如人类的各种语言、音乐，自然界的各种声音、图形、图像，计算机系统内的数据、文本等均可属于感知媒体。1.1.1媒体2.表达媒体(RepresentationMedium)是为了加工、处理和传输感知媒体而通过人工研究、构造出来的媒体，主要用以定义信息的特性。表达媒体以语音编码、图像编码和文本编码等形式来描述。1.1.1媒体3.呈现媒体(PresentationMedium)指感知媒体与电信号间相互转换用的那类媒体，即呈现信息或获取信息的物理设备。呈现媒体有显示器、扬声器、打印机等输出类以及键盘、鼠标器、扫描器、话筒和摄像机等输入类设备。1.1.1媒体4.存储媒体(StorageMedium)指存储表达媒体数据(感知媒体数字化后的代码)的物理设备，如光盘、磁盘、磁带等。5.传输媒体(TransmissionMedium)指媒体传输用的一类物理载体，如同轴电缆、光缆、双绞线、无线电链路等。6.交换媒体(ExchangeMedium)指在系统之间交换数据的方法，它们可以是存储媒体、传输媒体或者两者的结合使用。1.1.1媒体这些不同层次的“媒体”为多媒体技术的诞生和发展提供了基本的空间和舞台。在以上六种媒体中，感觉媒体是在多媒体应用中呈现给用户的媒体元素，它主要包括：文本、图形、图像、视频、音频、动画等。1.1.1媒体1.文本(Text)：包含字母、数字、字、词语等基本元素。2.图形(Graph)：是多媒体中的静态可视元素之一，一般是以采用算法语言或某些应用软件生成的矢量图(VectorDrawing)的形式来表达的。3.图像(Image)：也是多媒体的一种静态可视元素，其基本形式为位图(Bitmap)。1.1.1媒体4.视频(Video)：多媒体技术中的一类重要媒体，属于动态可视元素。图像与视频是两个既有联系又有区别的概念。5.音频(Audio)：是指大约在15Hz～20kHz频率范围的连续变化的波形。6.动画(Animation)：是采用计算机动画软件创作并生成的一系列可供实时演播的连续画面，属于一种动态可视媒体元素。1.1.2多媒体在绝大多数场合，多媒体是指多媒体技术，即指能够同时获取、处理、编辑、存储和回放两种或者两种以上不同类型信息媒体的技术，这些信息媒体包括文字、声音、图形、图像、动画、视频等，它一般不是指多种媒体本身，而主要是指处理和应用的一整套技术手段。1.1.2多媒体从技术角度来说，多媒体是计算机综合处理文本、图形、图像、音频、视频等多种媒体信息，使多种信息建立逻辑连接，集成为一个系统并具有交互性和实时性的崭新技术。它是一种迅速发展的综合性电子信息技术，已渗透到相关领域的方方面面，给人们的工作、生活和娱乐带来了深刻的变革。1.1.3多媒体技术的基本特征1.多样性2.集成性3.交互性4.实时性5.非线性总之，多媒体有许多特点，但其最显著的特点是具有媒体的多样性、集成性和交互性。1.2多媒体技术的发展多媒体技术的发展是社会需求的结果，是社会不断推动的结果，是计算机技术不断成熟和扩展的结果。在多媒体的整个发展进程中，有几个具有代表性的阶段：1984年，美国Apple（苹果）公司开创了用计算机进行图像处理的先河，在世界上首次使用Bitmap（位图）概念对图像进行描述，从而实现了对图像进行简单的处理、存储和传送等。1.2多媒体技术的发展1985年，美国Commodore公司将世界上首台多媒体计算机系统展现在世人面前，该计算机系统被命名为Amiga。并在随后的Comdex‘89展示会上，展示了该公司研制的多媒体计算机系统Amiga的完整系列产品。1986年3月，荷兰PHILIPS（飞利浦）公司和日本SONY（索尼）公司共同制定了CD-I（CompactDiscInteractive）交互式激光光盘系统标准，使多媒体信息的存储规范化和标准化。1.2多媒体技术的发展1987年3月，RCA公司制定了DVI（DigitalVideoInteractive）技术标准，该技术标准在交互式视频技术方面进行了规范化和标准化，使计算机能够利用激光光盘以DVI标准存储静止图像和活动图像，并能存储声音等多种信息模式。1990年11月，美国Microsoft（微软）公司和包括荷兰PHILIPS（飞利浦）公司在内的一些计算机技术公司成立“多媒体个人计算机市场协会（MultimediaPCMarketingCouncil）”。1.2多媒体技术的发展1991年，多媒体个人计算机市场协会提出MPC1标准。1993年5月，多媒体个人计算机市场协会公布了MPC2标准。1995年6月，多媒体个人计算机工作组公布了MPC3标准。目前，多媒体技术的发展趋势是逐渐把计算机技术、通信技术和大众传播技术融合在一起，建立更广泛意义上的多媒体平台，实现更深层次的技术支持和应用。1.2多媒体技术的发展从多媒体应用方面看，有以下几个发展趋势：从单个PC用户环境转向多用户环境和个性化用户环境；从集中式、局部环境转向分布式、远程环境；从专用平台和系统有关的解决方案转向开放性、可移植的解决方案；多媒体通信从单向通信转向双向通信；从被动的、简单的交互方式转向主动的高级的交互方式；从改造原有的应用转向建立新的应用。1.3多媒体技术的应用领域1.3.1娱乐1.3.2教育与培训1.3.3电子出版物1.3.4咨询、信息服务与广告1.3.5工业控制与科学研究1.3.6医疗影像与远程诊断1.3.7多媒体办公系统1.3.8通信系统中的应用1.4多媒体研究的主要内容与核心技术要把一台普通的计算机变成具有多媒体计算功能的计算机，要解决多种媒体的数字化、压缩、通信传输、存储、同步回放等一系列的关键技术问题。综合起来讲，多媒体技术的核心问题应当是：多媒体信号数字化与计算机获取技术；多媒体数据压缩编码和解码技术；多媒体数据的实时处理和特技效果技术；多媒体数据的输出与回放技术。1.4多媒体研究的主要内容与核心技术如何高效地解决如上问题，也是多媒体相关研究领域及本课程研究的核心问题。多媒体技术的研究涉及到媒体数字化技术、数据压缩编解码技术、多媒体存储技术、硬件平台、软件平台、多媒体数据库、超文本和超媒体、虚拟现实、人机接口、多媒体通信技术以及分布式多媒体等众多领域。1.4多媒体研究的主要内容与核心技术1.多媒体数据压缩编解码技术在多媒体计算机系统中要表示、传输和处理大量的声音、图像甚至影像视频信息，其数据量之大是非常惊人的，加之信息品种多、实时性要求高，给数据的存储和传输以及加工处理均带来了巨大的压力。因此，在采用新技术增加CPU处理速度、存储容量和提高通信带宽的同时，还须研究高效的数据压缩编解码技术。多媒体数据压缩编码和解码技术过去计算机企图综合处理声、文、图，但是不可以,原因在于：文件量过大以一幅彩色静态图像(RGB)为例：BGR设分辨率为512512每一种颜色用8bit表示即R用8bit256级别表示G用8bit256级别表示B用8bit256级别表示则一幅彩色静态图像的数据量为51251238bitPAL是通用于中国大陆与西欧大部分国家（除去法国）的彩色电视信号格式，以交错方式扫描，每秒钟出25幀画面，每幀画面含625条水平扫描线,50Hz。NTSC制式，美国、日本等国采用,每秒钟出30幀画面，每幀画面含525条水平扫描线,60Hz。SECAM——通用于法国,中东,和多数东欧国家,25幀/秒,625线/幀,50Hz.PAL,SECAM制式25帧/秒NTSC制式30帧/秒以PAL制25帧/秒为例，视频每秒钟的数据量5125123825=180Mbps过去,计算机的总线为ISA(16位),ISA总线时钟最大8MHz,ISA总线的传输率最大为16MB/s变成bit为16M8=128Mbps把180Mbps的视频流经过传输率为16MB/s（128Mbps）的ISA总线送到计算机的硬盘几乎是不可能的。陆地卫星（Landsat—3）的例子，其水平、垂直分辩率分别为2340和3240，四波段采样精度7位，它的一幅图像的数据量为2340×3240×7×4=212Mbit，按每天30幅计每天数据为212×30=6.36Gbit，每年的数据量高达2300Gbit。单纯扩大存储容量，增加通信干线的传输率是不现实的，数据压缩是行之有效的方法。现在VCD的标准MPEG-1的固定传输率为1.5Mbps通过MPEG-1可以把这个视频流传输到计算机并存储。如何压缩数据？帧内压缩帧间压缩帧内压缩图——Bitmap——存储器——颜色相同的块——帧内压缩帧间压缩不变化部分：只传送一次变化部分：传送一个运动矢量1.4多媒体研究的主要内容与核心技术2.多媒体数据存储技术随着多媒体与计算机技术的发展，多媒体数据量越来越大，对存储设备的要求越来越高。因此，高效快速的存储设备是多媒体技术得以应用的基本部件之一。1.4多媒体研究的主要内容与核心技术3.多媒体数据库技术多媒体数据库是一个由若干多媒体对象所构成的集合，这些数据对象按一定的方式被组织在一起，可为其他的应用所共享。多媒体数据库管理系统则负责完成对多媒体数据库的各种操作和管理功能，包括对数据库的定义、操纵和控制等这样一些传统数据库功能。此外，还必须解决一些新的问题，如海量数据的存储功能、信息提取功能等。1.4多媒体研究的主要内容与核心技术4.超文本和超媒体技术超文本和超媒体技术是一种模拟人脑的联想记忆方式，把一些信息块按照需要用一定的逻辑顺序链接成非线性网状结构的信息管理技术。超文本技术以节点作为基本单位，这种节点要比字符高出一个层次。由链把节点链接成网状结构，即非线性文本结构。这种已组织成网的信息网络即是超文本。1.4多媒体研究的主要内容与核心技术5.智能多媒体技术智能多媒体是一种更加拟人化的高级智能计算技术。多媒体技术的进一步发展迫切需要引入人工智能，要利用多媒体技术解决计算机视觉和听觉方面的问题，必须引入知识，这必然要引入人工智能的概念、方法和技术。1.4多媒体研究的主要内容与核心技术6.多媒体信息检索技术多媒体信息检索是根据用户的要求，对图形、图像、文本、声音、动画和视频等多媒体信息进行检索，以得到用户所需的信息。多媒体信息检索系统有着广阔的应用前景，它将广泛地应用于电子会议、远程教学、远程医疗、电子图书馆、艺术收藏和博物馆管理、地理信息系统、遥感和地球资源管理、计算机支持协同工作等领域。1.4多媒体研究的主要内