山东广播电视大学直属学院

1多媒体技术基础及应用山东广播电视大学直属学院姓名吴同E-mail：[e-mail]下一页上一页退出山东广播电视大学直属学院2关于本课程学时：6x3+上机(待定)教材：《多媒体技术基础及应用》，钟玉琢清华大学出版社参考书：多媒体技术教材辅导与实验手册；网站下一页上一页退出山东广播电视大学直属学院3下一页上一页退出山东广播电视大学直属学院4第一章多媒体技术概述多媒体技术基本概念–媒体的定义和分类–多媒体的定义和特征–多媒体信息处理的总目标多媒体计算机技术及其发展历史多媒体技术的主要内容–多媒体的软硬件平台–专用芯片–多核处理器–数据压缩及编码技术–多媒体同步多媒体技术的应用多媒体技术促进了计算机、通讯和大众媒体的融合思考题–多媒体网络与分布式处理技术–信息的组织与管理–多媒体数据存储–虚拟现实技术下一页上一页退出山东广播电视大学直属学院5媒体的定义和分类什么是媒体？媒体（Medium）在计算机领域中有两种含义，一是指用以存储信息的实体，如磁盘、磁带、光盘和半导体存储器；一是指信息的载体，如数字、文字、声音、图形图像和视频等。CCITT曾给媒体做了如下的分类：感觉媒体（PerceptionMedium）表示媒体（RepresentationMedium）显示媒体（PresentationMedium）存储媒体（StorageMedium）传输媒体（TransmissionMedium）返回几种媒体的关系CPUOutputDeviceStorageInputDevice表示媒体存储媒体显示媒体显示媒体感觉媒体感觉媒体表示媒体传输媒体返回下一页上一页退出山东广播电视大学直属学院7感觉媒体感觉媒体是指能直接作用于人的感官，使人能直接产生感觉的一类媒体。感觉媒体有人类的各种语言、音乐，自然界的各种声音、图形、静止和运动的图像等。感觉媒体视觉媒体文字景象听觉媒体语言声音触觉媒体嗅觉媒体味觉媒体力,运动,温度气味滋味声音景象类型名称分类返回下一页上一页退出山东广播电视大学直属学院9表示媒体表示媒体是为了加工、处理和传输感觉媒体而人为地研究、构造出来的一种媒体。其目的是能将感觉媒体从一个地方向另一个地方传送，以便于加工和处理。表示媒体有各种编码方式如语音编码、文本编码、静止和运动图像编码等。表示媒体举例时间属性/空间属性/生成属性图象（image）图形（graphics）文本（text）视频（video）动画（animation）合成语音MIDI音乐(MIDI)MP3音乐波形声音(wave)下一页上一页退出山东广播电视大学直属学院11表示媒体的时间属性•time-independent(discrete)media（离散媒体，值不会随着时间而变化）–text,graphics,staticimage,….•time-dependent(continuous)media（连续媒体，值随着时间而变化）–speech,music,video,animation,….下一页上一页退出山东广播电视大学直属学院12表示媒体的空间属性•1D媒体–单声道speech,music,•2D媒体–双声道music;text,image,2Dgraphics,•3D及多维媒体–3Dgraphics,全景图像,空间立体声music,下一页上一页退出山东广播电视大学直属学院13表示媒体的生成属性•自然媒体(使用数字化方法从现实世界获取的媒体)–取样声音,image,video•合成媒体(使用计算机创建的媒体)–合成语音,MIDI,graphics,animation下一页上一页退出山东广播电视大学直属学院14自然媒体与合成媒体的区别自然媒体合成媒体来源获取创建表示方法取样表示符号表示表现能力真实感强真实感有限可编辑性有限全部存储数据量很大数据量很小检索困难容易传输要求高要求低展现处理容易处理复杂返回下一页上一页退出山东广播电视大学直属学院15显示媒体显示媒体是指感觉媒体与用于通信的电信号之间转换用的一类媒体。它包括输入显示媒体（如键盘、摄像机、话筒等）和输出显示媒体（如显示器、喇叭和打印机等）。返回下一页上一页退出山东广播电视大学直属学院16存储媒体存储媒体是用来存放表示媒体，以方便计算机处理加工和调用，这类媒体主要是指与计算机相关的外部存储设备。返回下一页上一页退出山东广播电视大学直属学院17传输媒体传输媒体是用来将媒体从一个地方传送到另一个地方的物理载体。传输媒体是通信的信息载体，如双绞线、同轴电缆、光纤等。返回下一页上一页退出山东广播电视大学直属学院18多媒体的定义“多媒体”译自20世纪80年代初产生的英文词“multimedia”，最早出现于美国麻省理工学院(MIT)()递交给国防部的一个项目计划报告中。多媒体是指信息表示媒体的多样化，常见的多媒体有文字、图形、图像、声音、音乐、视频、动画等多种形式。多媒体技术是利用计算机技术把文本、声音、视频、动画、图形和图像等多种媒体进行综合处理，使多种信息之间建立逻辑连接，集成为一个完整的系统。下一页上一页退出山东广播电视大学直属学院19多媒体的特征多媒体从本质上来说具有三个最重要的特征:--多维化--集成性--交互性除了以上三个特征，实际上多媒体还具有很多其它的特征，例如实时性，它主要指类似声音和视频这样的媒体，它们具有很强的时间相关性。返回下一页上一页退出山东广播电视大学直属学院20多维化多维化是指信息媒体的多样化。它使人们思想的表达不再限于顺序的、单调的、狭小的范围内，而有充分自由的余地。多媒体信息多维化不仅是指输入，而且还指输出，目前主要包括听觉和视觉两个方面。返回下一页上一页退出山东广播电视大学直属学院21集成性这不仅是指多媒体设备集成，而且也包含多媒体信息集成或表现集成。早期的各项技术都可以单一使用和应用，但很难有大的作为，因为它们是单一的、零散的，如声音、图像和交互式技术等。信息空间的不完整（例如，仅有静态图像而无动态视频、仅有声音而无图形等）都限制了信息空间中的信息组织，也就限制了信息的有效使用。媒体食物(价值)链多媒体作品(文档)媒体集成媒体编辑媒体准备媒体编辑媒体准备媒体编辑媒体准备媒体编辑媒体准备网络媒体通信媒体消费文本图像音频视频内容(content)媒体显示媒体消费媒体显示数字项(digitalitem)返回下一页上一页退出山东广播电视大学直属学院23交互性这是人们获取和使信息变被动为主动的最为重要的特征。多媒体信息空间中的交互性向用户提供更加有效地控制和使用信息的手段，同时也为应用开辟了更广阔的领域，交互可以增加对信息的注意和理解，延长保留的时间。返回下一页上一页退出山东广播电视大学直属学院24多媒体信息处理的总目标使能跨越各种不同网络和设备,透明地、强化地使用多媒体资源。多媒体信息处理空间离散媒体：text,image,…连续媒体：audio,video,...媒体处理媒体类型应用模式单机应用模式网络应用模式获取(创建)编辑管理传输检索描述展现说明编码下一页上一页退出山东广播电视大学直属学院26多媒体计算机技术及其发展历史1984年Apple公司在苹果机Macintosh(也称为Mac)上引入了位图(Bitmap)概念进行图形处理，并使用了窗口(Windows)和图标(Icon)作为用户界面，标志了多媒体及多媒体技术的产生和应用。1986年，Philips公司和Sony公司联合推出了交互式紧凑光盘系统CD-I（CompactDiscInteractive），能够将声音、文字、图形图像等多媒体信息数字化并存储到光盘片上下一页上一页退出山东广播电视大学直属学院27多媒体计算机技术及其发展历史1987年，RCA公司推出了交互式数字视频系统DVI(DigitalVideoInteractive)，以计算机为基础，使用标准光盘来存储、检索多媒体数据；1989年IBM公司推出AVC系统(AudioVisualConnection)，提供了多媒体编辑功能;1990年Philips等十多家厂商成立了多媒体市场协会，并制定了MPC(多媒体计算机)的市场标准MPC1下一页上一页退出山东广播电视大学直属学院28多媒体计算机技术及其发展历史1993年5月MPC联盟又制定了第二代多媒体计算机标准－MPC2，主要是提高了基本部件的性能指标1995年6月制定了MPC第三代的标准。增加了全屏幕、全动态(30帧/秒)视频及增强版CD音质的视频和音频硬件标准返回下一页上一页退出山东广播电视大学直属学院29项目MPC1MPC2MPC3RAM2MB4MB8MB运算处理器16MHz386SX25MHz486SX75MHzPentium同等级X86CD-ROM150kB/s最大寻址时间1s300kB/s最大寻址时间400msCD-ROMXA600kB/s最大寻址时间200msCD-ROMXA声卡8bit数字声音8个合成音MIDI16bit数字声音8个合成音MIDI8bit数字声音Wavetable(波表)MIDI显示640×48016色640×48065536色640×48065536色硬盘容量30MB160MB540MB彩色视频播放--352×24030fps输入输出端口MIDII/O,摇杆端口，串并联端口MIDII/O,摇杆端口，串并联端口MIDII/O,摇杆端口，串并联端口返回下一页上一页退出山东广播电视大学直属学院30随着技术的不断发展，1996年又发表了MPC4.0的技术标准及后来的MPC5.0等。随着计算机硬件技术和多媒体技术的飞速发展，MPC的标准规范还在不断升级，并且出现了将多媒体和通信功能集成到了CPU芯片中的MMX技术，形成了专用的多媒体微处理器，并支持DVD、具有TV功能及集成化网络接口等.MPC2.0MPC3.0MPC4.0CPU80486Pentium75Pentium133内存容量4MB8MB16MB硬盘容量160MB850MB1.6GBCD--ROM2x4x10x声卡16位16位16位图像16位彩色24位彩色32位真彩色分辨率640×480800×6001280×1024软驱1.44MB1.44MB1.44MB操作系统Windows3.xWindows95Windows95下一页上一页退出山东广播电视大学直属学院31多媒体的软硬件平台软件及硬件平台是实现多媒体系统的物质基础，其中每一项重要的技术突破都直接影响到多媒体的发展与应用的进程。返回多媒体硬件视频信号I/O接口卡音频信号I/O接口板视频、音频压缩解压缩视频、音频信号实时处理驱动软件(Driver)驱动器接口模板视频/音频支撑系统或视频/音频核心部件在初始化引导程序作用下把它安装到系统RAM中常驻内存。一个驱动器对应一种硬件设备的接口。多媒体计算机的核心软件下一页上一页退出山东广播电视大学直属学院32专用芯片数字化后的音频和视频数据量非常大，因此必须进行压缩并需要大容量的存储器；音频和视频的输入和输出是实时的，需要高速度。要实现以上最基本的要求，在很多情况下，需要专用硬件支持。多媒体计算机专用芯片可归纳为两种类型：一种是固定功能的芯片；一种是可编程的处理器片上系统(Systemonachip,SOC)适应了人们对于提高性能、缩小尺寸、降低能耗、快速上市和降低成本等诸多方面的需求下一页上一页退出山东广播电视大学直属学院33专用芯片NEC公司称其已开发出了一种用于图像识别的单芯片并行处理器。这种处理器每秒能处理50.2G(1G＝10亿)条指令。这一速度是3GHz的PC处理器的4倍，能耗却只有1/10这个由3270万个晶体管构成的芯片由一个128个8位RISC处理单元和一个用于控制功能的16位处理器并行构成。每个处理单元只有100MHz的工作频率，从而大幅降低了能耗，其每个处理单元都拥有2KB的存储空间，用于存储图像数据这个处理器的功耗相当于PDA的处理器、图形处理性能相当于4台PC，而尺寸却只有11×11毫