搜索
1多媒体技术及应用ZhengJiang-bin第一章绪论第一章绪论•第一节引言•第二节几个概念•第三节多媒体发展历史•第四节多媒体系统的特点及关键技术•第一节引言•第二节几个概念•第三节多媒体发展历史•第四节多媒体系统的特点及关键技术第一节引言一、多媒体成为计算机工业的热点1993美国ComdexIBM报告IBMandIntel--DVIActionMediaII750多处理、多媒体、面向对象及开放系统成为计算机发展的重点2二、多媒体比传统信息处理技术有更大的优势更自然、更友好的人机界面直观、通用的信息处理方法应用广泛三、本课程的结构安排、主要内容绪论存储音频图像视频超文本多媒体网络与通信多媒体数据库压缩解压参考文献王朴，多媒体，国防科大，1996胡晓峰等，多媒体系统原理与应用，人民邮电出版社，1995徐光佑史元春译，多媒体系统技术，电子工业，1998RolfS.，MultimediaComputing,Communication&Applications，清华大学，1997杨雪良，多媒体计算机技术及应用，电子工业，1995何圣静，多媒体技术及应用，北京理工大学，1995钟玉琢等，多媒体计算机技术，清华大学，1993李智渊等，多媒体的原理、技术与应用，电子工业，1996徐光佑等，多媒体个人计算机，人民邮电出版社，19953第二节几个概念2.1媒体2.2超文本2.3超媒体2.4多媒体2.1媒体（Medium）1.Medium：承载信息的载体2.可以由物理形式也可以无3.可以看成输入设备4.一种媒体可以是另一种媒体的基础，通常讲的媒体是媒体的最高层次5.Medium根据国际电信联盟（ITU:InternationalTelecommunicationUnion)的定义有以下五种：感觉、表示、表现（显示）、存储、传输媒体。感觉媒体（PerceptionMedium）：声音、文字、图形和图像等，物质的质地、形状、温度等表示媒体（RepresentationMedium）：为了加工感觉媒体而构造出来的一种媒体如各种编码：语音编码、图像编码等表现媒体（PresentationMedium）：感觉媒体与通信电信号进行转换的一类媒体，它又可分为：输入表现媒体，输入表现媒体存储媒体（StorageMedium）：用于存放表示媒体的一类媒体如：硬盘、光盘等传输媒体（TransmissionMedium）：用来将表示媒体从一处传送到另一处的物理传输介质，如各种通信电缆。人们所说的媒体是：感觉媒体；但多媒体技术所处理的媒体是：表示媒体。42.2超文本（Hypertext）•对信息进行表示和管理的一种方法。它以节点（知识点或信息块）为基本单位。节点之间用链来连接。节点和链形成一种非线性网状结构，这个网状结构就是超文本的信息组织方式。2.3超媒体（Hypermedia）•随着多媒体应用的出现和发展，文本这种组织管理信息的方式自然被引入到对多媒体信息的管理中。这种系统就被称为超媒体系统。2.4多媒体（无严格统一的定义）定义1：（Lippincatt，Byte1990）计算机交互式综合处理多种媒体信息--文本、图形、图像、声音，使多种信息建立逻辑连接，集成为一个系统并且具有交互性。定义2:(IBM,MultimediaFoundation1990）多媒体是下面两种以上媒体组成结合体：文本、图形、动画、静态视频、动态视频、声音。这就意味着电视节目、动画片、个人视话都可被看作是多媒体。定义3：（J.Morgen，SGI,1992）多媒体是传统的计算媒体--文本、图形、图像以及逻辑分析方法等与视频、音频以及为了知识创建和表达的交互式应用的结合体。定义4：（汪，CW，1994）所谓多媒体技术就是能对多种载体（媒介）上的信息和多种存储体（媒质）上的信息进行处理的技术。5Apple：受欢迎的、使用方便的、能层出不穷再现新东西的、接受挑战的魔术箱。NATIONAL：能象看杂志一样简单地得到所要信息的工具。COMPAGNEC：追求同家庭内信息设备相融合的东西。!计算机综合处理多种媒体信息，使多种信息建立逻辑连接，集成为一个系统并具有交互性。简单地说：计算机综合处理声、文、图信息,具有集成性和交互性交互式多媒体含交叉引用不含交叉引用超媒体含视、音频不含音、视频图超文本、超媒体和交互式多媒体之间的关系图第三节多媒体发展历史•3.1媒体发展回顾•3.2超文本发展回顾•3.3多媒体发展历史63.1媒体发展回顾•口语媒体•文字媒体•数字媒体与数字文化3.2超文本发展回顾•概念研究阶段（1930-1960）•第一代（1960-1980初）•第二代（1980初-）3.3多媒体发展历史•模拟阶段•数字阶段•数字网络阶段7第四节多媒体系统的特点及关键技术•4.1一个典型的多媒体结构•4.2多媒体系统的组成•4.3多媒体系统的特点•4.4多学科相关技术领域•4.5多媒体技术的关键技术•4.6若干技术热点4.1一个典型的多媒体结构要把一台普通计算机变成一台多媒体计算机要解决的关键技术视音频信号的获取技术多媒体数据的压缩编码和解码技术视音频数据的实时处理和解码技术视音频数据的输出技术输入设备输出设备接口卡、处理卡等CD(-XA,-RW,-ROM,-R..)DISK(Hard,Follopy,..)扫描仪数字相机摄像机….摄像机录像机录音机传真机…CD话筒MIDI合成器…接口计算机CD(-RWDISK数字电视打印机电视投影扬声器MIDI……接口图：典型的多媒体计算机的连接84.2多媒体系统的组成其它多媒体I/O设备计算机硬件多媒体压缩解压系统（芯片级）多媒体I/O控制及接口(驱动程序）多媒体操作系统多媒体创作工具多媒体应用系统用户4.3多媒体系统的特点•数据量巨大•时间上要求严格同步•媒体种类多样化•多媒体信息组织非线性结构•良好的工具（著作工具、导航工具）•专用的接口卡•专用的芯片（DSP芯片）•压缩技术•网络通信•直观、友好的交互界面4.4多学科相关技术领域多媒体自然语言数据库人工智能文本检索图形学面向对象程序设计人机工程智能教学信息处理技术设计管理94.5多媒体技术的关键技术1媒体输入输出技术2界面技术3多媒体信息组织管理技术4操作系统技术5多媒体数据库技术6压缩解压技术7多媒体信息传输技术8多媒体存储技术4.6若干技术热点人机交互与多通道用户界面：语音输入，手写体输入，自然语言理解虚拟现实及应用:数字地球，分布式虚拟现实技术，基于图像绘制技术科学计算可视化及信息可视化视频分割及基于内容的视频检索视频流分割，基于内容的视频检索，MPEG-4,MPEG-7标准及应用课题（如点播电视、视频库、CAI）信息家电（IA：INTERNETApplince）多媒体网上传输的服务质量（QoS）存储技术•磁盘存储器•光盘存储器10存储器•RAMDRAM•Flash•IDEDISK•CD-ROM多媒体对存储的要求•大容量•高吞吐率•高可靠性–数据可靠性和安全性–设备可靠的工作磁盘存储器•第一节磁盘技术和历史•第二节RAID11第一节磁盘技术和历史•硬盘技术•SCSI-1•SCSI-2硬盘技术–ST506及MFM硬盘驱动器–ESDI（增强小驱动器接口）–IDE（Integrateddeviceelectronic)•带有以集成控制器•16位并行，控制简单，主从之分，40M-328M•8MBytes/s–新型增强型接口（EIDE)•9-13MBytes/s，支持CD-ROM，磁带驱动器•4个磁盘–SCSI(小型计算机接口）•ANSIX379.2标准，覆盖SCSI,SCSI-2标准•SCSI总线，像是驱动器的扩展总线•连接设备，SCSI硬盘，光驱，扫描仪，磁带机等12SCSI—I标准•连接方式（下一页图）•数据总线8位并行•1M---5MBytes/s•连接方式–单终止（Single-ended)6米–差动终止（Differential–ended)25米•规定64条指令执行事务，指令直接控制访问终接器适配器或起始器七个目标（ID：0~6）SCSI-2标准•更宽的数据通道，8，16，32bit•更快的传输率，10M-------40MBytes/s•连接，50pin68pin80pin13•SCSI标准更适合于多媒体应用–丰富的公用指令集支持多种设备–提供多种性能的选择–允许销售商定义指令集控制特殊设备第二节RAID•问题的提出–存储系统主要问题•吞吐率•可靠性–RAID•RedundantArrayofInexpensiveDisk使用RAID的原因•磁盘系统的热后备•较低成本的大容量存储•较低成本的高性能–传输率–可靠性•数据恢复的便捷性•高MTBF14RAID模式•RAID的性能体现在所使用的模式上数据的块交错5层奇偶校验的驱动器的数据扇区交错4层奇偶校验的驱动器位交错3层数据位交错2层磁盘镜像1层磁盘划分0层RAID0控制器Disk0段0段N….Disk11N+1…..DiskNN-12N-1…..•RAID0特点–无冗余–提高读写速度–较不可靠15RAID1—磁盘镜像控制器主驱动器组镜像驱动器组RAID2—数据位交错控制器A1B1….A2B2….A8B8….aECC0bECC0….aECC1bECC1….aECC2bECC2….RAID3并行磁盘阵列控制器A1B1….A2B2….A5B5….PaPb….16RAID4扇区交错技术•基本结构同上，把连续扇区的数据写到不同的驱动器上•使用一个专用驱动器RAID5块交错技术控制器A1A6A11….A2PbA12….A3A8Pc….PaA7A13….A4A9A14….A5A10A15….17光盘存储器•光盘的历史•CD-ROM盘•错误的检测和纠正•其它种类光盘第一节光盘的发展历史•LV激光视盘•CD-DA•CD-ROM18LV激光视盘（LaserVision）•特征–记录的是电视模拟信号–FM调制–信号的幅值用凹凸坑的长度表示•分类–CLV(ConstantLinearVelocity)•CD_DA,CD-ROM,–CLA(ConstantAngularVelocity)•软盘，硬盘–比较（容量，扇区划分，地址）CD-DA激光唱盘•记录音频数字化后数字信息•凹凸坑表示0，1CD-ROM•提出：–利用CD-DA大容量特点•需要解决问题：–盘上数据结构问题–错误率10E(-9)10E(-12)•制定了统一标准（黄皮书）ISO966019第二节CD-ROM•盘片物理结构–形状–组成（三层）–光道写入过程•通道位–凹凸坑的长度代表0的个数，沿代表1•EFM调制编码–含义：8--〉14bit–14位通道位的选择•零游离要求•合并位–合并的思想：尽最大可能限制读出信号中出现的低频信号成份–DSV方案（DigitalSumValue)20CD-ROM数据的组织•帧的数据结构–CD-DA中的存储音频数据的基本物理存储单元是帧4B12B4B12B8b24b校验码P数据校验码Q数据子码同步•扇区的数据结构–连续的98个帧组成，是最小的可寻址单元•98*24=2352Bytes–扇区的组成•同步头(12B)+首标(4B)+数据(2336B)•首标-（地址3B+方式1B)–扇区的模式•Mode0•Mode1•Mode2•CD-ROM卷和文件结构–卷结构#整个盘片的信息–文件结构#目录文件结构21第三节错误的检测和校正•只读光盘的读取性能和校正对策•CRC码（EDC）•RS码•RSPC码•CIRC码只读光盘的读取性能和校正对策•错误率–未使用原始盘片3*10E(-4)–粘有指纹的盘片6*10E(-4)–有划痕的盘片5*10E(-3)CRC码（EDC）•CyclicRedundancyCode•原理：生成多项式22RS码•Reed-SolomonCode•原理：–E.g:RS(N,K)可纠正t个错误•2t=N-K•N码块的长度•K码块中信息的长度•校验方法•纠正方法RSPC码（ECC）•Reed-SolomonProduct-likeCode•P，Q码生成CIRC码•Cros