搜索
多媒体技术基础田沄北京师范大学信息科学与技术学院E-mail：tianyun@bnu.edu.cnReferences:《多媒体技术基础（第三版）》林福宗，清华大学出版社，2009年1月第3版《多媒体技术及应用（第7版）》（美）沃恩著安晓波译，清华大学出版社，2008年考核:平时（50%）：考勤+作业+报告期末（50%）：考试？课程设计？Mediameaning存储信息的实体如磁盘、光盘、磁带、半导体存储器等;传递信息的载体如数字、文字、声音、图形等;Definition一组硬件和软件设备结合了各种视觉和听觉媒体，能够产生令人印象深刻的视听效果。在视觉媒体上,包括图形、动画、图像和文字等媒体，在听觉媒体上,则包括语言、立体声响和音乐等媒体。用户可以通过多媒体计算机同时接触到各种各样的媒体来源。计算机交互式综合处理多媒体信息——文本、图形、图像和声音，使多种信息建立逻辑连接，集成为一个系统并具有交互性。具有集成性、实时性和交互性的计算机综合处理声文图信息的技术。ResearchContent多媒体数据压缩解压算法与标准多媒体数据的组织与管理多媒体数据存储技术多媒体数据库与基于内容的搜索技术多媒体网络与通信技术多媒体信息检索技术虚拟现实技术多媒体信息的展现与交互多媒体数据压缩、解压算法与标准由于多媒体技术的推广必须要计算机、电子、通信、影视等多个行业的通力合作，因此多媒体技术的标准化问题尤为突出。影响多媒体产品生产与应用的核心问题是多媒体数据的压缩编码与解码算法。多媒体数据的组织与管理数据的组织和管理是任何信息系统要解决的核心问题。多媒体数据具有数据量大、种类繁多、关系复杂的基本特征。以什么样的数据模型表达和模拟这些多媒体信息空间？如何组织存储这些数据？如何管理这些数据？如何操纵和查询这些数据？这是传统数据库系统的能力和方法难以胜任的。Contents(1):多媒体数据存储技术数据存储和存储管理技术最早起源于70年代的终端/主机的计算模式，当时由于数据集中在主机上，因此，连接在主机上的硬盘和磁带是当时主要的存储和备份的设备。80年代以后由于个人电脑的发展，尤其是客户机/服务器模式的出现，使得数据存储分布化。此时网络上文件服务器和数据库服务器往往是重要数据集中的地方，同时客户机上也有一定量的数据，数据的分布造成数据存储管理的复杂化。90年代Internet的迅猛发展，也使得存储技术发生着革命性的变化。由于多媒体数据的存储量很大，因此选取高效、快速的存储部件是设计多媒体计算机系统的重要工作之一。Contents(2):多媒体数据库与基于内容的搜索技术和传统的数据库相比，多媒体数据库包含的数据类型除文本之外，还包含声音、图形、图像与视频等数据，并且数据之间的关系复杂，需要一种更有效的多媒体数据管理系统与工具。同时，由于声音、图形、图像与视频属于非格式化的数据，因此对于多媒体信息的检索比对传统的管理结构化的文本与数据库管理系统的检索复杂得多。Contents(3):多媒体网络与通信技术多媒体技术对网络、通信技术的要求:多媒体数据的分布性、结构性以及计算机支持的协同工作等应用领域都要求在计算机网络上传送声音、图像数据,在传输的过程就要保证传输的速度和质量。而多媒体通信是通信技术和多媒体技术结合的产物,它并蓄兼收了计算机的交互性、多媒体的复合性、通信的分布性以及电视的真实性等优点。在协同工作中，由于要用到摄像机、监视器、话筒等多媒体设备进行发送和接收信息，这就对同时在网络上传输多路双向声音和图像的要求非常高。Contents(4):多媒体信息检索技术基于内容的多媒体信息检索作为一种新型的检索技术特别强调其信息的新颖性、实用性和广泛性,以单纯的文本检索为主要方法的检索已不再成为主流。因此,如何实现多媒体信息的数字化查询,面向广大的用户开展真正有效的多媒体信息检索服务已成为现代网络技术发展的关键。Contents(5):虚拟现实技术采用计算机技术生成一个逼真的视觉、听觉、触觉及味觉等感官世界，用户可以直接用人的技能和智慧对这个生成的虚拟实体进行考察和操纵。这个概念包含三层含义：首先，虚拟现实是用计算机生成的一个逼真的实体，逼真就是要达到三维视觉、听觉和触觉等效果；其次，用户可以通过人的感官与这个环境进行交互；最后，虚拟现实往往要借助一些三维传感技术为用户提供一个逼真的操作环境。虚拟现实是一种多技术多学科相互渗透和集成的技术，研究难度非常大。。Contents(6):多媒体信息的展现与交互在传统的计算机应用中，大多数都采用文本媒来的多媒体环境下，各种媒体并存，视觉、听觉、触觉、味觉和嗅觉媒体信息的综合与合成，就不能仅仅用“显示”完成媒体的表现了。各种媒体的时空安排和效应，相互之间的同步和合成效果，相互作用的解释和描述等都是表达信息时所必须考虑的问题。Contents(7):Outline:多媒体技术概念数字声音及MIDI简介语音编码多媒体数据压缩技术彩色数字图像基础小波变换及编码数字视频多媒体信息存储技术多媒体数据管理技术第1章多媒体技术概念Outline：(1/2)多媒体是交互式信息传播媒体多媒体多媒体技术及特征多媒体计算机系统及其层次结构多媒体信息处理技术多媒体数据压缩技术多媒体数据管理技术多媒体信息的展现与交互多媒体信息存储技术Outline：(2/2)多媒体涉及的几个概念超文本超媒体标准通用标记语言(SGML)超文本标记语言(HTML)虚拟现实造型语言(VRML)多媒体的技术研究与应用开发1.1多媒体是交互式信息传播媒体1.1.1多媒体“媒体”在计算机领域含义有二：一是指存储信息的实体（媒质），如磁盘、光盘等；二是传递信息的载体（媒介），如数值、文字、声音、图形和图像等；融合两种以上媒体的人-机交互式信息交流和传播媒体；多媒体是信息交流和传播媒体多媒体是人-机交互式媒体多媒体信息都是以数字的形式而不是以模拟信号的形式存储和传输的传播信息的媒体的种类很多Outline：多媒体技术定义多媒体多媒体技术及特征多媒体计算机系统及其层次结构多媒体信息处理技术多媒体数据压缩技术多媒体数据管理技术多媒体信息的展现与交互多媒体信息存储技术1.1.2多媒体技术及其特征多媒体技术就是把声、文、图、像和计算机集成在一起的技术特征多样性:媒体信息的多样性；集成性：是结合文字、图形、影像、声音、动画等各种媒体的一种应用，并且是建立在数字化处理的基础之上的；交互性：多媒体技术的特色之一，这是它与传统媒体的最大不同；实时性非循环性非纸张输出形式Outline：多媒体技术定义多媒体多媒体技术及特征多媒体计算机系统及其层次结构多媒体信息处理技术多媒体数据压缩技术多媒体数据管理技术多媒体信息的展现与交互多媒体信息存储技术1.2多媒体计算系统及其层次结构创作系统多媒体核心系统多媒体输入/输出接口多媒体实时压缩与解压多媒体计算机硬件系统应用系统Outline：多媒体技术定义多媒体多媒体技术及特征多媒体计算机系统及其层次结构多媒体信息处理技术多媒体数据压缩技术多媒体数据管理技术多媒体信息的展现与交互多媒体信息存储技术1.3.1多媒体数据的压缩(1/2)为什么要压缩降低多媒体数据对存储器容量的要求降低多媒体数据对传输带宽的要求两种类型的数据压缩无损压缩:经过压缩和解压缩后的数据与压缩前的原始数据完全一样的数据压缩技术。文本、代码和数字数据文件必须用无损压缩方法压缩。可把普通文件大小压缩到原来的25～50%；有损压缩：经过压缩和解压缩后的数据与压缩前的原数据不完全一样，但不至于人对原始资料表达的信息造成误解。1.3.1多媒体数据的压缩(2/2)三种类型的编码熵编码：不考虑数据源的无损数据压缩技术。其核心思想是按照符号出现的概率大小给符号分配长度合适的代码，对常用的符号给它分配长度较短(即位数较少)的代码，对不常用的符号给它分配长度较长(即位数较多)的代码。源编码(基于语义的编码)：考虑数据源特性的数据压缩技术。编码时考虑信号源的特性和信号的内容。混合编码：组合源编码和熵编码的数据有损压缩技术。Outline：多媒体技术定义多媒体多媒体技术及特征多媒体计算机系统及其层次结构多媒体信息处理技术多媒体数据压缩技术多媒体数据管理技术多媒体信息的展现与交互多媒体信息存储技术1.3.2多媒体数据管理技术利用面向对象OO（ObjectOriented）方法和机制开发的新一代面向对象数据库系统OODB（ObjectOrientedDataBase），结合超媒体（Hypermedia）技术的应用，为多媒体信息的建模、组织和管理提供了非常有效的方法。但该技术还不成熟。Outline：多媒体技术定义多媒体多媒体技术及特征多媒体计算机系统及其层次结构多媒体信息处理技术多媒体数据压缩技术多媒体数据管理技术多媒体信息的展现与交互多媒体信息存储技术1.3.3多媒体信息的展现与交互在未来的多媒体环境下，各种媒体并存，视觉、听觉、触觉、味觉和嗅觉媒体信息的综合与合成，就不能仅仅用“显示”完成媒体的表现了。各种媒体的时空安排和效应，相互之间的同步和合成效应，相互作用的解释和描述等都是表达信息时所必须考虑的问题。有关信息的这种表达问题统称为“展现”（presentation）。Outline：多媒体技术定义多媒体多媒体技术及特征多媒体计算机系统及其层次结构多媒体信息处理技术多媒体数据压缩技术多媒体数据管理技术多媒体信息的展现与交互多媒体信息存储技术1.3.4多媒体信息存储技术人类总是通过多种感官来接受外界的信息，其中80%的信息来自视觉，外界一切景物在眼睛内的映像都是图像的概念。声音、文字、图形、图像都是人类最方便的交流信息方式。尽管计算机威力强大，但在这方面一直无能为力。随着数字化音像技术的发展、人机界面的改善和计算机通信技术的日趋成熟，集图、文、声、像为一体的多媒体技术，正是适合人类信息交换的喜闻乐见的方式。Outline：(2/2)多媒体涉及的几个概念超文本超媒体标准通用标记语言(SGML)超文本标记语言(HTML)虚拟现实造型语言(VRML)多媒体的技术研究与应用开发1.4.1超文本（1/2）1965年TedNelson在计算机上处理文本文件时想了一种把文本中遇到的相关文本组织在一起的方法，让计算机能够响应人的思维以及能够方便地获取所需要的信息。他为这种方法杜撰了一个词，称为超文本(hypertext)。实际上，这个词的真正含义是“链接”的意思，用来描述计算机中的文件的组织方法，后来人们把用这种方法组织的文本称为“超文本”。传统文本是以线性方式组织的，而超文本是以非线性方式组织的。1.4.1超文本（2/2）Outline：(2/2)多媒体涉及的几个概念超文本超媒体标准通用标记语言(SGML)超文本标记语言(HTML)虚拟现实造型语言(VRML)多媒体的技术研究与应用开发1.4.2超媒体（1/2）在20世纪70年代，用户语言接口方面的先驱者AndriesVanDam创造了一个新词“电子图书”(ElectronicBook)。电子图书中自然包含有许多静态图片和图形，它的含义是你可以在计算机上去创作作品和联想式地阅读文件，它保存了用纸做存储媒体的最好的特性，而同时又加入了丰富的非线性链接，这就促使在80年代产生了超媒体(hypermedia)技术。超媒体不仅可以包含文字而且还可以包含图形、图像，动画、声音和电视片断，这些媒体之间也是用超级链接组织的，而且它们之间的链接也是错综复杂的。1.4.2超媒体（2/2）图形声音电视文本Outline：(2/2)多媒体涉及的几个概念超文本超媒体标准通用标记语言(SGML)超文本标记语言(HTML)虚拟现实造型语言(VRML)多媒体的技术研究与应用开发