搜索
多媒体技术原理与应用广州大学教育学院黄琼珍huanqzh@163.com参考教材参考教材第1章概述1.1关于信息、媒体和媒介的讨论1.基本概念——medium指磁带、光盘等存储教学信息的物理介质，在一般意义上是指承载信息的载体。•Multimedia（多媒体）——就是多种媒体的结合，指存储在磁带、光盘上的图像、声音、文本、动画等教学信息的表现形式（或载体）将教学内容以文字、声音、图像、动画等形式存储到磁盘、光盘上（信息）（媒体）（媒介）（Learningmaterial）（medium）（medium）•多媒体——表现信息的载体•媒介——存储、呈现或传输媒体的物理介质2.国际电报电话咨询委员会（CCITT）将medium划分成五种类型（1）PerceptionMedium（感觉媒体）——指直接作用于人的感官产生感觉的媒体，如声音、图形、动画、文本等（P）（2）PresentationMedium（呈现媒介，又称表现媒体）——指表现和获得信息的设备，又分输入/输出表现媒体，如键盘、摄像机、显示器、扬声器、打印机、话筒等（Pre-M）（3）RepresentationMedium（再生媒体，又称表示媒体）——指信息的表示形式，是为了加工、处理和传输感觉媒体而人为研究、构造出来的媒体，是感觉媒体数字化后的代码，如语言、文本、图像编码（R）（4）StorageMedium（存储媒介）——是指存储数据的设备，如磁盘、磁带、闪存、光盘等（Sto-M）（5）TransmissionMedium（传输媒介）——是传输数据的设备，如同轴电缆、双绞线、光缆、微波等（Tra-M）例.视音频信息媒体传递过程中的五类medium：图像声音捕获处理传输处理呈现图像声音记录/重放控制存储存储处理处理记录/重放控制音频、视频信息媒体的传递过程(P)(R)(R)(P)(R)(R)(R)(R)(Pre-M)(Pre-M)(Tra-M)(Sto-M)(Sto-M)例.计算机信息媒体传递过程中的五类medium：存储计算机显示输入设备显示存储输入设备计算机传输（文本、图形、动画、数据）计算机信息媒体的传递过程（文本、图形、动画、数据）(Pre-M)(Pre-M)(Pre-M)(Pre-M)(Sto-M)(Sto-M)(Tra-M)(R)(R)(R)(R)(R)(R)(P)(P)结论：信息、媒体、媒介三者关系•媒体是信息的载体，信息只有通过某一种或几种媒体形式才能表达出来，感觉媒体和经过处理后的再生媒体均属于媒体的范畴。•媒介是用于存储、呈现或传输媒体的设备或物理介质，存储媒介、传输媒介和呈现媒介都属于媒介的范畴。推论：信息、媒体和媒介三者关系，与电子信息领域中信息、信号和信道三者关系是对应。•信息总是通过某种信号形式表现出来的，如电视领域中视频信号、音频信号，计算机领域中的各种格式的数据信号等。•信号只能在其规定的信道中传送，如录像机中的视频通道、音频通道、计算机中的各种总线等。*1.2了解多媒体问世前后的历史背景“多媒体”一词出现于1990年前后，从20世纪80年代初期至今，共经历了三个阶段：•孕育阶段（20世纪80年代初期——90年代初期）•问世阶段（20世纪90年代初期——中期）•发展阶段（20世纪90年代中期——今）1.孕育阶段（流行）叫法：交互式视频（Interactivevideo）•内涵：具有声像并茂、形象生动呈现优势的录像视频技术与具有交互功能的计算机技术两大分支正在相互渗透，趋于融合。•特点：一方面，电视、录像以及通信技术也都开始由模拟方式转向数字化。另一方面，计算机由字符方式、文本处理向图形方式、声音和图像处理发展。2.问世阶段（流行）叫法：多媒体（Multimedia）•内涵：计算机领域中的媒体与电视领域中的媒体有机结合，并且具有交互功能•特点：电视设备（摄像机、录像机、监视器等）充当了计算机外部设备的角色；而传统的视频编辑、特技设备却被计算机的专业软件所取代；计算机中可播放视频、音频信号，在视频设备（如VCD）中增加微机软硬件，也能对播放的图像、声音实现互动控制•重要历程：①1990年10月，由美国微软公司发起组建的多媒体个人计算机市场协会（MPCMarketingCouncil），提出了多媒体计算机技术规格：MPC1.0。1993年提出了MPC2.0，1995年提出了MPC3.0。MPC标准3.发展阶段（流行）叫法：“3C（Computer,Consumer,Communication）一体化”或“信息家电”内涵：计算机、广播电视和通信等领域正在互相渗透，趋于融合特点：信息家电化、家电智能化、三网（计算机网、通信网、有线电视网）互相渗透电信网由语言通信向多媒体通信过渡：综合业务数字网（ISDN）应运而生•可视电话•电视会议•视频点播•由计算机支持的协同工作(CSCW),如远程学习、电子报刊共编等计算机网公共通信网广播网光纤窄带综合业务数字有线数据网数字网电视网基于ATM交换的宽带综合业务数字网B-ISDN可移动的全球宽带智能个人综合业务数字网BIP-ISDN三网合一DMB-C示意图下行单向广播网（光缆）卫星电视节目因特网本地信息（网页）演播室（VCD、DVD）调制发送调谐器解调电视编码电视机有线电视台多媒体播送系统（中心）视频节目数字信息上行指令（电话线）红外遥控器用户机顶盒（用户）AVRF通信、计算机和大众传播业相互促进，最终结合成多媒体信息系统多媒体的起源与发展计算机0，1通信大众传媒文本图象图形声音视频MPC邮政电报电话数字网ISDN信息高速报纸广播电影电视HDTVITV多媒体时代通信大众传播计算机计算机和通信主动结合Multimedia-信息系统的融合多媒体没有统一、严格定义的原因：•多媒体是从视频和计算机两个领域的需求出发，按照各自的技术思路和商业目的，殊途同归地发展而形成的。因此很难形成对多媒体的共识•多媒体技术从问世之日起，便一直伴随着一些相关的技术在不断地发展和完善，因而使得当时有不少业内专家担心给出的定义跟不上其内涵的变化第1章概述1.3认识多媒体和多媒体技术各种对多媒体和多媒体技术的描述：•“多媒体技术是指能综合处理多种媒体信息，如文字、声音、图形、图像、动画等，使多种信息建立逻辑连接，并且集成为一个具有交互性的计算机系统。”•“多媒体技术是传统的计算机（如文本、图形、图像、动画等）与视频、音频相结合，且为了知识创造和表达的交互式应用的结合体。”从两种描述中可形成对“多媒体”的认识：•多媒体必须是由计算机领域中的媒体与电视领域中的媒体互相结合的产物；•多媒体必须具有交互功能。•“多媒体技术是指能够同时获取、处理、编辑、存储和呈现两个以上不同类型信息媒体的技术，这些信息媒体包括文本、图像、图形、动画和活动图像等。”换句话说,“多媒体技术提供了三种新的能力，即在通信中结合电视的音像能力、出版发行能力和计算机交互处理能力。”•“多媒体技术是基于计算机技术的综合技术，包括数字信号处理技术、音频和视频技术、计算机硬件和软件技术、人工智能和模式识别技术、通信和图像技术。它是正处于发展过程中的一门综合性的高新技术。”从后两种描述中可形成对“多媒体技术”的认识：•多媒体技术能够同时对计算机领域和电视领域中的媒体进行获取、处理、编辑、存储和呈现•多媒体技术是一种基于计算机的综合技术，包括数字信号处理技术、音频和视频技术、计算机硬件和软件技术、人工智能和模式识别技术、网络通信技术等结论：多媒体技术几乎覆盖了计算机技术和数字视频、音频技术的绝大部分领域，而且随着科学技术水平的不断提高和社会需求的不断增长，其覆盖范围和应用领域还会继续扩大——就是进行多种媒体综合的技术，是以计算机技术为基础，能够对多种媒体信息进行采集、编码、存储、传输、处理和表现，综合处理多种媒体信息并使之建立有机的逻辑联系，集成为一个系统并能具有良好的交互性的技术。多媒体技术多媒体技术发展的原因计算机、通信和大众传媒的下述技术成果为媒体技术提供了坚实的基础（1)大容量存储设备(2)数据压缩技术(3)高速处理器(4)高速通信网(5)人机交互方法及设备的改进多媒体的主要特性•以计算机为中心：信息的获取、处理、存储、传输和展示都是在计算机控制下完成的。•集成性：多种信息媒体的集成、处理这些媒体的设备的集成。•交互性：人的活动（activity）本身能作为一种媒体介入到信息转变为知识的过程。•数字化：多媒体信息都是以数字的形式而不是以模拟信号的形式存储和传输的。多媒体系统的关键技术：1.存储与传输技术2.压缩和解压缩技术3.多媒体软硬件技术4.多媒体通讯和网络技术5.多媒体数据库技术6.虚拟现实技术主要包括三个方面：•多媒体计算机图形与图像处理技术•数字音频、视频处理技术•多媒体网络通信技术第1章概述1.4多媒体技术的研究内容多媒体计算机图形与图像处理技术是研究如何借助于数学的方法和多媒体硬件技术的支持，在计算机上生成、处理和显示图形与图像的一门技术。第1章概述1.4多媒体技术的研究内容1.4.1多媒体计算机图形与图像处理技术1.图形处理技术图形处理的具体内容主要包括：几何变换，如平移、旋转、缩放、透视和投影等；曲线和曲面拟合；建模或造型；隐线、隐面消除；阴暗处理；纹理产生；配色等。另外计算机动画处理还要在此基础上附加横摇、竖摇、变焦、扭转、淡入、淡出、溶暗、卷切等动态处理剪贴画剪贴画的分解2.数字图像处理技术图像处理的具体内容主要包括：如放大、缩小、平移、坐标轴旋转、透视图制作、位置重合、几何校正、r校正、灰度线制作、图像增强和复原、图像变换、图像编码压缩、图像重建、图像分割、图像识别、局部图像选出或去除，轮廓周长计算、面积计算以及各种正交变换等图像增强图像复原图像处理用于空间探索QuickBird示例影像:北京颐和园高分辨率卫星影像，拍摄时间为2003年9月。水体界线的确定在近红外图像上，水体呈黑色；导弹末制导：图象识别技术应用于导弹的精确未制导，使其精确打击目标。如：机场、桥梁等。生物特征识别：军事、公安中的人脸、指纹、掌纹识别等。•图形处理与图像处理的区别：图形处理着重研究怎样将数据和几何模型变成可视的图形。图像处理侧重于将客观世界中原来存在的物体映像处理成新的数字化图像3.图形、图像处理中的虚拟现实技术虚拟现实（VirtualReality）技术是将并不存在的事物和环境，通过各种技术虚拟出来，让用户感觉到如同真实世界一样。图形、图像处理中的虚拟现实技术是用计算机模拟三维环境，用户可以走进这个环境（用鼠标控制浏览方向），并且操纵场景中的对象，实现了在虚拟场景中的人机“可交互性”。不同视觉观看，模拟天空实景3D虚拟游戏目前分数最高分数数字音频、视频技术特征：在多媒体技术中的音频、视频技术采用的是全数字技术。第1章概述1.4多媒体技术的研究内容1.4.2数字音频、视频处理技术数字音频、视频处理技术的主要组成：1.模拟音频、视频信号的数字化编码（模/数转换A/D）A/D转换是将人所能接受的模拟音频、视频信号转换为计算机能够识别的数字信息，它是数字音频、视频处理技术中的基础2.数字音频、视频信息的压缩编码（信源编码）信源编码则是将数字化后的音频、视频信号的数据根据不同的应用，按照不同的标准及其算法进行压缩处理，从而达到降低码率的目的，它是数字音频、视频处理技术的关键3.数字音频、视频信息的存储与传输编码（信道编码）信道编码是将压缩后的音频、视频数据根据存储与传输的介质不同进行相应的调制，使其符合该介质的要求或者达到提高频率资源利用率的目的；信道编码的另一个作用就是对存储与传输的数据进行容错技术处理，以确保重放数据的准确性，因此信道编码是数字音频、视频处理技术的保证1.网络通信已成为社会生活中的一个重要组成部分2.种类繁多的基于多媒体的网络服务3.多媒体通信的研究领域：标准系统产品应用服务第1章概述1.4多媒体技术的研究内容1.4.3多媒体网络通信技术视频会议画面多媒体技术应用主要涉及以下几个领域1.5.1教育培训领域1.5.2电子出版领域1.5.3娱乐1.5.4咨询