1多媒体技术概述

多媒体计算机技术鲁宏伟[e-mail]第一章多媒体技术概述•多媒体技术基本概念–媒体的定义和分类–多媒体的定义和特征–多媒体信息处理的总目标•多媒体计算机技术及其发展历史•多媒体技术的主要内容–多媒体的软硬件平台–专用芯片–多核处理器–数据压缩及编码技术–多媒体同步•多媒体技术的应用•多媒体技术促进了计算机、通讯和大众媒体的融合思考题–多媒体网络与分布式处理技术–信息的组织与管理–多媒体数据存储–虚拟现实技术–人机界面技术–高速多媒体通信技术媒体的定义和分类•什么是媒体？媒体（Medium）在计算机领域中有两种含义，一是指用以存储信息的实体，如磁盘、磁带、光盘和半导体存储器；一是指信息的载体，如数字、文字、声音、图形图像和视频等。•CCITT曾给媒体做了如下的分类：感觉媒体（PerceptionMedium）表示媒体（RepresentationMedium）显示媒体（PresentationMedium）存储媒体（StorageMedium）传输媒体（TransmissionMedium）媒体食物(价值)链多媒体作品(文档)媒体集成媒体编辑媒体准备媒体编辑媒体准备媒体编辑媒体准备媒体编辑媒体准备网络媒体通信媒体消费文本图像音频视频内容(content)媒体显示媒体消费媒体显示数字项(digitalitem)返回几种媒体的关系CPUOutputDeviceStorageInputDevice表示媒体存储媒体显示媒体显示媒体感觉媒体感觉媒体表示媒体传输媒体感觉媒体感觉媒体是指能直接作用于人的感官，使人能直接产生感觉的一类媒体。感觉媒体有人类的各种语言、音乐，自然界的各种声音、图形、静止和运动的图像等。感觉媒体视觉媒体文字景象听觉媒体语言声音触觉媒体嗅觉媒体味觉媒体力,运动,温度气味滋味声音景象类型名称分类`表示媒体表示媒体是为了加工、处理和传输感觉媒体而人为地研究、构造出来的一种媒体。其目的是能将感觉媒体从一个地方向另一个地方传送，以便于加工和处理。表示媒体有各种编码方式如语音编码、文本编码、静止和运动图像编码等。表示媒体举例时间属性/空间属性/生成属性图象（image）图形（graphics）文本（text）视频（video）动画（animation）合成语音MIDI音乐(MIDI)MP3音乐波形声音(wave)表示媒体的时间属性•time-independent(discrete)media（离散媒体，值不会随着时间而变化）–text,graphics,staticimage,….•time-dependent(continuous)media（连续媒体，值随着时间而变化）–speech,music,video,animation,….表示媒体的空间属性•1D媒体–单声道speech,music,•2D媒体–双声道music;text,image,2Dgraphics,•3D及多维媒体–3Dgraphics,全景图像,空间立体声music,表示媒体的生成属性•自然媒体(使用数字化方法从现实世界获取的媒体)–取样声音,image,video•合成媒体(使用计算机创建的媒体)–合成语音,MIDI,graphics,animation自然媒体与合成媒体的区别自然媒体合成媒体来源获取创建表示方法取样表示符号表示表现能力真实感强真实感有限可编辑性有限全部存储数据量很大数据量很小检索困难容易传输要求高要求低展现处理容易处理复杂返回显示媒体显示媒体是指感觉媒体与用于通信的电信号之间转换用的一类媒体。它包括输入显示媒体（如键盘、摄像机、话筒等）和输出显示媒体（如显示器、喇叭和打印机等）。返回存储媒体存储媒体是用来存放表示媒体，以方便计算机处理加工和调用，这类媒体主要是指与计算机相关的外部存储设备。返回传输媒体传输媒体是用来将媒体从一个地方传送到另一个地方的物理载体。传输媒体是通信的信息载体，如双绞线、同轴电缆、光纤等。返回多媒体的定义•“多媒体”译自20世纪80年代初产生的英文词“multimedia”，最早出现于美国麻省理工学院(MIT)递交给国防部的一个项目计划报告中。•多媒体是指信息表示媒体的多样化，常见的多媒体有文字、图形、图像、声音、音乐、视频、动画等多种形式。•多媒体技术是利用计算机技术把文本、声音、视频、动画、图形和图像等多种媒体进行综合处理，使多种信息之间建立逻辑连接，集成为一个完整的系统。多媒体的特征多媒体从本质上来说具有三个最重要的特征:--多维化--集成性--交互性除了以上三个特征，实际上多媒体还具有很多其它的特征，例如实时性，它主要指类似声音和视频这样的媒体，它们具有很强的时间相关性。返回多维化•多维化是指信息媒体的多样化。它使人们思想的表达不再限于顺序的、单调的、狭小的范围内，而有充分自由的余地。•多媒体信息多维化不仅是指输入，而且还指输出，目前主要包括听觉和视觉两个方面。返回集成性•这不仅是指多媒体设备集成，而且也包含多媒体信息集成或表现集成。•早期的各项技术都可以单一使用和应用，但很难有大的作为，因为它们是单一的、零散的，如声音、图像和交互式技术等。•信息空间的不完整（例如，仅有静态图像而无动态视频、仅有声音而无图形等）都限制了信息空间中的信息组织，也就限制了信息的有效使用。返回交互性•这是人们获取和使信息变被动为主动的最为重要的特征。•多媒体信息空间中的交互性向用户提供更加有效地控制和使用信息的手段，同时也为应用开辟了更广阔的领域，交互可以增加对信息的注意和理解，延长保留的时间。返回多媒体信息处理的总目标•使能跨越各种不同网络和设备,透明地、强化地使用多媒体资源。返回多媒体信息处理空间离散媒体：text,image,…连续媒体：audio,video,...媒体处理媒体类型应用模式单机应用模式网络应用模式获取(创建)编辑管理传输检索描述展现说明编码返回多媒体计算机技术及其发展历史•1984年Apple公司在苹果机Macintosh(也称为Mac)上引入了位图(Bitmap)概念进行图形处理，并使用了窗口(Windows)和图标(Icon)作为用户界面，标志了多媒体及多媒体技术的产生和应用。•1986年，Philips公司和Sony公司联合推出了交互式紧凑光盘系统CD-I（CompactDiscInteractive），能够将声音、文字、图形图像等多媒体信息数字化并存储到光盘片上多媒体计算机技术及其发展历史•1987年，RCA公司推出了交互式数字视频系统DVI(DigitalVideoInteractive)，以计算机为基础，使用标准光盘来存储、检索多媒体数据；•1989年IBM公司推出AVC系统(AudioVisualConnection)，提供了多媒体编辑功能;•1990年Philips等十多家厂商成立了多媒体市场协会，并制定了MPC(多媒体计算机)的市场标准MPC1多媒体计算机技术及其发展历史•1993年5月MPC联盟又制定了第二代多媒体计算机标准－MPC2，主要是提高了基本部件的性能指标•1995年6月制定了MPC第三代的标准。增加了全屏幕、全动态(30帧/秒)视频及增强版CD音质的视频和音频硬件标准返回项目MPC1MPC2MPC3RAM2MB4MB8MB运算处理器16MHz386SX25MHz486SX75MHzPentium同等级X86CD-ROM150kB/s最大寻址时间1s300kB/s最大寻址时间400msCD-ROMXA600kB/s最大寻址时间200msCD-ROMXA声卡8bit数字声音8个合成音MIDI16bit数字声音8个合成音MIDI8bit数字声音Wavetable(波表)MIDI显示640×48016色640×48065536色640×48065536色硬盘容量30MB160MB540MB彩色视频播放--352×24030fps输入输出端口MIDII/O,摇杆端口，串并联端口MIDII/O,摇杆端口，串并联端口MIDII/O,摇杆端口，串并联端口返回多媒体的软硬件平台•软件及硬件平台是实现多媒体系统的物质基础，其中每一项重要的技术突破都直接影响到多媒体的发展与应用的进程。返回多媒体硬件视频信号I/O接口卡音频信号I/O接口板视频、音频压缩解压缩视频、音频信号实时处理驱动软件(Driver)驱动器接口模板视频/音频支撑系统或视频/音频核心部件在初始化引导程序作用下把它安装到系统RAM中常驻内存。一个驱动器对应一种硬件设备的接口。多媒体计算机的核心软件专用芯片•数字化后的音频和视频数据量非常大，因此必须进行压缩并需要大容量的存储器；音频和视频的输入和输出是实时的，需要高速度。要实现以上最基本的要求，在很多情况下，需要专用硬件支持。•多媒体计算机专用芯片可归纳为两种类型：一种是固定功能的芯片；一种是可编程的处理器•片上系统(Systemonachip,SOC)适应了人们对于提高性能、缩小尺寸、降低能耗、快速上市和降低成本等诸多方面的需求专用芯片•NEC公司称其已开发出了一种用于图像识别的单芯片并行处理器。这种处理器每秒能处理50.2G(1G＝10亿)条指令。这一速度是3GHz的PC处理器的4倍，能耗却只有1/10•这个由3270万个晶体管构成的芯片由一个128个8位RISC处理单元和一个用于控制功能的16位处理器并行构成。每个处理单元只有100MHz的工作频率，从而大幅降低了能耗，其每个处理单元都拥有2KB的存储空间，用于存储图像数据•这个处理器的功耗相当于PDA的处理器、图形处理性能相当于4台PC，而尺寸却只有11×11毫米返回多核处理器•目前最快的PC处理器上晶体管的数目已经达到了5500万个，保守一点估计，到2007年一个处理器将集成10亿只晶体管（频率大约是6GHz）。•巨大的晶体管数量意味着巨大的能耗，随之而来的散热问题也日益凸显。•毫无疑问，工艺的提升有助于部分地解决散热问题，但生产工艺提升本身就是一个耗资巨大（一条0.18微米的生产线造价大约是20亿美元）的工程多核处理器•从理论上讲，由于将两个或多个运算核封装在一个芯片内部，首先节省了大量的晶体管和封装成本（CPU的核很小，将多个核封装在一起给外形尺寸带来的变化并不显著），同时还能显著提高处理器的性能。•多核处理器对外的“界面”还是统一的（有的多核产品甚至不会改变针脚数），所以整个计算机系统需要为此做出的改变就很有限，这意味着用户不会在主板、硬件体系方面做大的改变，从兼容性和系统升级成本方面来考虑有诸多的优势多核处理器•双核或多核处理器早已有之，SOC、多媒体、网络等一些嵌入式处理器中都采用了多核技术•IBMPower4处理器一样，将两颗完全一样的处理器封装在一个芯片内，达到双倍或接近双倍的处理性能，由于共享了缓存和系统总线，因此这种做法的优点是能节省运算资源。而Sun公司明年即将发布的双核处理器UltraSPARCIV则将两颗处理器集成在一个硅片上，这样封装面积更小，相对功耗也更低多核处理器•采用0.13微米工艺的Madison芯片面积将降低到200～300mm2之间；到2004年采用0.09微米工艺的第五代安腾处理器Montecito的产品面积可能会进一步降低到150mm2；直到2005年65纳米工艺诞生，IA64处理器的大小可能会降低到100mm2以下，届时，这些技术进展会为Intel多核处理器的诞生打下坚实的基础返回数据压缩及编码技术•多媒体系统要求具有综合处理声、图、文的能力，面临的主要问题是巨大的数据量，尤其是对动态图形和视频图像多媒体信源引起了“数据爆炸”如果不进行数据压缩传输和存储都难以实用化多媒体数据数字音频格式频带(Hz)带宽(KHz)取样率(KHz)量化位数存储容量(MB)电话200~34003.2880.48会议电视伴音50~7000716141.68CD-DA20~200002044.1165.292×2DAT20~200002048165.76×2数字音频广播20~200002048165.76×61分钟数字音频信号需要的存储空间数字电视格式空间×时间×分辨