多媒体技术沈超eurokal@126.com南京邮电大学经济与管理学院教材参考教材参考教材参考教材参考教材参考教材多媒体通信技术基础蔡安妮等电子工业出版社2000年参考教材课时安排•总课时32学时•讲授24学时,上机8学时•上机时间等课堂通知,上机地点是经管院实验室考核标准•平时成绩占20%•上机实验的成绩占10%•期末考试的成绩占70%答疑安排•周一下午(16:00—17:00)圆楼318房间等待大家的光临经管院电子商务系办公室本课程的特点•综合性“多”媒体•理论性信息理论、各种算法•实践性多媒体的制作、和我们生活密切相关看看我们的作品吧…如何学习?•定位:掌握多媒体技术的基本原理,能够基于软件工具,制作出媒体作品。•理论联系实际课程体系共九章内容:•第一章多媒体技术概述•第二章多媒体音频处理技术•第三章多媒体数据压缩技术•第四章多媒体图像处理•第五章数字视频技术•第六章多媒体硬件•第七章多媒体光存储系统•第八章多媒体网络应用•第九章多媒体软件系统Chap1多媒体技术概述本章内容:•1.1多媒体技术的基本概念•1.2多媒体系统构成•1.3多媒体技术的应用和发展学习目标:通过本章的学习,能够理解多媒体的基本概念,了解多媒体系统的基本结构,了解多媒体的应用领域和发展前景。1.1多媒体技术的基本概念•何谓多媒体呢?“多媒体”一词译自英文“Multimedia”,即“Multiple”和”Media”的合成,其核心词是媒体。•媒体在计算机领域有两种含义:即媒质和媒介。•媒质:存储信息的实体,如磁盘、光盘、磁带、半导体存储器等。(信息的存储介质)•媒介:传递信息的载体,如数字、文字、声音、图形和图像等。(信息的表现方式)多媒体的定义“多媒体”是指融合两种或两种以上媒体的一种人-机交互式信息交流和传播媒体,这些信息媒体包括:文字、声音、图形、图象、动画、视频等。媒体的类型根据国际电信联盟电信标准局ITU-T(原CCITT)的定义,“媒体”可分为五类:感觉媒体表示媒体显示媒体存储媒体传输媒体感觉媒体:能直接作用于人们的感觉器官,从而能使人产生直接感觉的媒体。如语音、音乐、各种图像、动画、文本等。表示媒体:为了传送感觉媒体而人为研究出来的媒体。借助于此种媒体,便能更有效的存储或传送感觉媒体。如语言编码、电报码等。显示媒体:用于通信中使电信号和感觉媒体之间产生转换用的媒体。如输入、输出设施,键盘鼠标器、显示器、打印机等。存储媒体:用于存放某种媒体的媒体如纸张、磁带、磁盘、光盘等。传输媒体:用于传输某些媒体的媒体,如电话线、电缆光纤等。超媒体的概念•超文本——是以文字的形式表示信息,建立的链接关系主要是文句之间的链接关系。传统文本是以线性方式组织的,而超文本是以非线性组织的。•超媒体——除了使用文本外,还使用图形、图像、声音、动画、或影视片断等多媒体来表示信息,这些媒体之间也是用超级链接组织的。标准通用标记语言SGMLSGML是1986年出版发布的一个信息管理方面的国际标准,用来定义文档的结构和指示文档结构的标签。(1)结构:为了描述文挡的结构,SGML定义了一个称为“文档类型定义”的文件,它为组织文档的文档元素提供了一个框架。(2)内容:这里指的内容就是信息本身。(3)样式:SGML本身正在定义样式的设置标准,即文档样式语义学和规范语言。超文本标记语言(HTML)•是一种用来创作万维网页面的描述语言,使用HTML标签来定义文档的格式、组成和链接关系,如字型、字体、表单、标题和统一资源地址等。•HTML是从SGML导出的语言,是SGML的一个子集。使用HTML创作的文档是带有一套固定标签的SGML文档。虚拟现实造型语言(VRML)•是一种用来描述万维网页面上三维交互环境的格式。体验三维世界需要有能接受和再现VRML文件的浏览器。•目前有两种类型,一种是插入型,把VRML浏览软件插入到HTML万维网浏览器:另一种是单独的VRML浏览器。多媒体的特性•多样性指信息媒体的多样性。•交互性用户与计算机的多种信息媒体交互操作。•集成性多媒体信息的集成多媒体设备的集成多媒体中的媒体元素及特征多媒体媒体元素是指多媒体应用中可显示给用户的媒体组成。音频动画视频文本图形图像文本文本格式化文本文件非格式化文本文件——只有文本信息,没有任何格式信息——带有各种文本排版格式信息的文件.DOC?.TXT?图形•图形元素:一般指用计算机绘制的画面,如直线、圆、圆弧、矩形、任意曲线和图表等。•图形格式:是一组描述点、线、面等几何图形的大小、形状及其位置、维数的指令集合。•图形文件:在图形文件中只记录生成图的算法和图上的某些特征点,因此也称矢量图。矢量图看到绘图过程管理每一小块图像构造图库不适用于复杂图图像•图像:是指由输入设备捕捉的实际场景画面,或以数字化形式存储的任意画面。•像素矩阵(点位图):静止图像是一个矩阵,阵列中的各项数字用来描述构成图像的各个点的颜色、亮度等信息。•图像文件:在计算机中的存储格式有多种,如BMP、GIF、JPG等,一般数据量都较大。点位图×8音频•音频,泛指声音,包括波形声音、乐音和语音。•多种数字音频的存储格式:WAV:MIDI:MP3…:通过对模拟波形声音进行采样、量化而得记录的是一系列指令,而不是波形数据不同的音频压缩规范产生不同的音频文件334B/15s250KB/15s2.5MB/15s动画•动画——是活动的画面,实质是一幅幅静态图像的连续播放。•根据动画的实现方式分类:造型动画:帧动画:分别设计构成物体的每个动元特征,然后用这些动元构成完整的帧画面通过一帧一帧显示位图序列来实现运动的效果视频•视频是由一幅幅单独的画面序列(帧)组成,这些画面以一定的速率连续地投射在屏幕上,使观察者具有图像连续运动的感觉。•视频文件的存储格式有AVI、RM、MPG、MOV等。PAL:25帧/秒NTSC:30帧/秒视频就是利用人眼视觉暂留原理,通过播放一系列的图片,使人眼产生运动的感觉。1.2多媒体系统构成•多媒体计算机系统的分层结构多媒体应用软件第八层软件系统多媒体创作软件第七层多媒体数据处理软件第六层多媒体操作系统第五层多媒体驱动软件第四层多媒体输入/输出控制卡及接口第三层硬件系统多媒体计算机硬件第二层多媒体外围设备第一层•多媒体系统分类开发系统:编辑,播放双重功能教育/培训系统家庭系统:娱乐和学习等多媒体软件结构•驱动程序;•系统软件与工具;如:MCI•创作软件和工具;如:Authorware•编辑软件和工具;如:视频/音频的采集、编辑•终端用户应用程序和多媒体节目。多媒体相关技术•数据压缩与编码技术•多媒体专用芯片技术•多媒体数据存储技术•媒体输入与输出技术•多媒体系统软件技术•超文本和Web技术•多媒体应用开发工具•多媒体通信技术•虚拟现实技术多媒体操作系统是多媒体软件的核心,负责:•多任务的调度;•保证音频、视频同步控制;•提供多媒体信息的各种基本操作和管理;•具有对设备的相对独立性与可扩展性。Windows、OS/2和Macintosh操作系统都提供了对多媒体的支持。多媒体素材采集与制作技术素材的采集与制作主要包括采集并编辑多种媒体数据。如:•声音信号的录制编辑和播放;•图像扫描及预处理;•全动态视频采集及编辑;•动画生成编辑;•音/视频信号的混合和同步等。多媒体编辑与创作工具多媒体编辑创作软件,又称多媒体创作工具,是多媒体专业人员在多媒体操作系统之上开发的,供特定应用领域的专业人员组织编排多媒体数据,并把它们连接成完整的多媒体应用系统的工具。如:会声会影、Adobepremiere多媒体数据库技术多媒体信息是结构型的,致使传统的关系数据库已不适用于多媒体的信息管理,需要从下面四个方面研究数据库:1).多媒体数据模型2).媒体数据压缩和解压缩的模式3).多媒体数据管理及存取方法4).用户界面虚拟现实技术虚拟现实的定义可归纳为:利用计算机技术生成的一个逼真的视觉、听觉、触觉及嗅觉等的感觉世界,用户可以用人的自然技能对这个生成的虚拟实体进行交互考察。三个特征:沉浸、交互、构想1.3多媒体技术应用与发展就目前而言,多媒体技术已在商业教育培训、电视会议、声像演示等方面得到了充分应用。在教育与培训方面的应用在通信方面的应用在其他方面的应用在教育与培训方面的应用多媒体技术在教育方面的作用:•使教材多样化;•使教育的表现形式多样化;•可以进行交互式远程教学。CAI(ComputerAssistedInstruction)计算机辅助教学软件,即课件。在通信方面的应用多媒体技术在通信方面的应用主要有:•可视电话•视频会议•信息点播(InformationDemand)•计算机协同工作CSCW(ComputerSupportedCooperativeWork)信息点播有桌上多媒体通信系统和交互电视ITV。计算机协同工作CSCW是指在计算机支持的环境中,一个群体协同工作以完成一项共同的任务。计算机的交互性,通信的分布性和多媒体的现实性相结合,将构成继电报、电话、传真之后的第四代通信手段。在其他方面的应用多媒体技术给出版业带来了巨大的影响,其中近年来出现的电子图书和电子报刊就是应用多媒体技术的产物。利用多媒体技术可为各类咨询提供服务,如旅游、商业、金融、宾馆等。多媒体技术还将改变未来的家庭生活,多媒体技术在家庭中的应用将使人们在家中上班成为现实。多媒体技术发展计算机技术01形式字符代码中文图形图象声音视频影像MPC大众传媒技术印刷报纸广播电影电视交互式光盘网络传媒通信技术烽火通信书信邮政传真计算机网ISDN信息高速公路多媒体技术的兴起1984年,美国Apple公司推出被认为是代表多媒体技术兴起的Macintosh系列机。1985年,美国Commodore公司的Amiga计算机的问世,成为多媒体技术先驱产品之一1986年3月,飞利浦和索尼两家公司发明了光盘系统,这是文字、图象和声音于一体化的多媒体系统。1987年3月,美国RCA公司的萨诺夫研究实验室展示了交互式数字影像系统(DVI),这是以PC技术为基础,用标准光盘来存储和检索活动影像、静止图象、声音和其它数据。Intel公司1989年3月宣布把DVI开发为大众化商品。包括把DVI芯片集安装在IBMPS/2PC机的主板上1991年第六届国际多媒体技术和CD-ROM大会标志着多媒体技术进入新的发展阶段,宣布了CD-ROMXA扩充结构标准的审定版本。1991年,在美国计算机博览会上首次展出多媒体技术应用成果以后,多媒体技术推进了计算机和通信的又一次革命。1992年,Comdex博览会有两大热点:一是笔记本式计算机;二是多媒体计算机。Intel和IBM共同研制的DVIActionMedia750ΙΙ荣获了最佳多媒体产品奖和最佳展示奖。1993年初,美国政府提出了“世纪工程”的信息高速公路的计划。世界范围内掀起了兴建信息高速公路的热潮。我国于1994年召开了信息高速公路发展策略会议。多媒体技术的发展方向目前,多媒体主要从以下几个方向发展:1)多媒体通信网络环境的研究和建立将使多媒体从单机单点向分布、协同多媒体环境发展,在世界范围内建立一个可全球自由交互的通信网。对该网络及其设备的研究和网上分布应用与信息服务研究将是热点。2)利用图像理解、语音识别、全文检索等技术,研究多媒体基于内容的处理、开发能进行基于内容的处理系统是多媒体信息管理的重要方向。3)多媒体标准仍是研究的重点:各类标准的研究将有利于产品规范化,应用更方便。它是实现多媒体信息交换和大规模产业化的关键所在。4)多媒体技术与相邻技术相结合,提供了完善的人机交互环境。多媒体仿真智能多媒体等新技术层出不穷,扩大了原有技术领域的内涵,并创造新的概念。5)多媒体技术与外围技术构造的虚拟现实研究仍在继续进展。多媒体虚拟现实与可视化技术需要相互补充,并与语音、图像识别、智能接口等技术相结合,建立高层次虚拟现实系统。本章小结本章对多媒体和多媒体技术的定义及特点、多媒体计算机要解决的关键技术、多媒体系统结构以及多媒体技术的应用和发展等问题作了较详细的讨论。