18多媒体通信技术现代通信新技术,达新宇等第5章多媒体通信是通信技术、多媒体计算机技术和电视技术相结合的产物,同时融合了通信的分布性、计算机的交互性、多媒体的复合性以及电视的实时性等特点,因而成为近代通信的发展方向和研究热点。本章首先讲述多媒体的基本概念,然后讨论多媒体数据压缩技术,多媒体通信网络及多媒体通信协议,最后介绍多媒体通信系统的应用。8.1概述8.1.1多媒体的基本概念媒体是信息的承载体,是人们交流思想、观念和意见的中介物,如:文字、图形、声音等等。根据国际电联(ITU-T)的定义,媒体可分为五类。(1)感觉媒体(PerceptionMedium):指能直接作用于人的感官,使人直接产生感觉(视、听、嗅、味、触觉)的一类媒体,如语言、音乐、运动图像、数据、文字、气味、温度等。(2)表示媒体(PresentationMedium):指为了对感觉媒体进行有效的传输、加工和处理,而人为地构造出的一种媒体,如文本编码、语音编码、静止和活动图像编码等。(3)显示媒体(DisplayMedium):指完成感觉媒体和用于通信的电信号之间变换的媒体。可分为输入显示媒体(如键盘、话筒、摄像机等)、输出显示媒体(如显示器、麦克风、打印机等)两类。(4)传输媒体(TransmissionMedium):指用于承载信息,完成信息传送的物理载体,如光纤、同轴电缆、双绞线、自由空间等。(5)存储媒体(StorageMedium):指存放表示媒体的物理实体,如纸张、磁盘、光盘等。多媒体一词最初的含义是:把由两个或两个以上的感觉媒体各自生成的表示媒体组合成单一产品或呈现为一系统,以便通过多种感观通道来交流信息。需要注意的是,多媒体不是多种媒体的简单叠加。多媒体中的各种表示媒体必须在时间上同步。当多媒体中包含有图形或图像的组合时,还必须保证它们的空间同步。因此,多媒体是由多种表示媒体按照特定的时空同步关系组合在一起构成的。目前,多媒体有多媒体终端、多媒体网络、多媒体通信等,国际电联对多媒体服务的定义是特指能处理多种表示媒体的服务。8.1.2多媒体通信及其主要特征多媒体通信是一种把通信、电视和计算机三种技术有机地结合在一起的新兴的通信技术,人们在传递和交换信息时采用“可视的、智能的、个人的”服务模式,同时利用声、图、文等多种信息媒体。用户可以不受时空限制地索取、传播和交换信息。为了满足上述要求,多媒体通信系统必须具有以下特征:1.集成性多媒体通信系统必须具有集成性。在多媒体通信系统中,必须能同时处理两种以上的媒体信息,包括对各不同媒体信息的采集、信息数据的存储、处理、传输和显示等。其次,由于多媒体中各媒体之间存在着复杂的关系,如时间关系、空间关系、链接关系等,因而所有描述这些关系的信息也必须相应地进行处理。2.交互性2交互性是指在通信系统中人与系统之间的相互控制能力。只有这样,系统才能不再局限于传统通信系统简单的单向、双向的信息传送和广播,实现真正的多点之间、多种媒体信息之间的自由传输和交换。总之,交互性是多媒体通信系统的一个重要特性,是多媒体通信系统区别于其它通信系统的重要标志。交互性为用户提供了对通信全过程完备的交互控制能力,就像视频点播(VideoonDemand,VOD)系统。传统的电视集声音、图像、文字于一体,但不能称其为多媒体通信系统,因为用户只能通过选择不同的频道,观看电视台事先安排好的电视节目,而无法根据自己的需要在适当的时间,观看特定的节目。视频点播系统却可以完全满足用户的上述需求。3.同步性同步性是指多媒体通信终端上显示的图像、声音和文字必须以同步方式工作,这是由多媒体的定义决定的。因此多媒体通信系统中通过网络传送的多媒体信息必须保持其时间对应关系,即同步关系。例如,用户要查询一种野生动物北极熊的生态信息,北极熊的图像资料存放在图像数据库中,而其吼叫声、讲解资料等放在声音数据库中,还有其它相关的资料放在相应的数据库中。多媒体终端必须通过不同的传输途径获取不同的信息,并将它们按照特定的关系组合在一起,呈现给用户。可以说,同步性是多媒体系统区别于多种媒体系统的根本标志。另外,同步性也是多媒体通信系统的最大的技术难点之一。上述三个特征是多媒体通信系统所必须具有的,缺一不可。8.1.3多媒体通信业务多媒体通信业务的特征是基于群体的通信,在一次单一的通信会话期间,可以有多个参与方,多条链结,而且通信资源和用户数可以增减。多媒体业务类型可以分为交互式业务和分配型业务两大类。1.交互型业务交互型业务包括会话型、电子信函型和检索型业务。(1)会话型业务:用于在两点之间或与多点之间同时传递语音、图像和文件,但也包括高速数据的传输。该业务可以是即时发生的,双方或几方预定的,也可以是永恒型的。用户信息流量可以是双向对称或不对称的。如会议电视、文本传送、可视电话等。(2)电子信函型业务:包括传递图像和伴音的电子信箱业务,以及传递混合文件的电子信箱业务。它具有存储一转发和消息处理的功能。该业务可以是点对点或点对多点进行的,可以是双向对称或单向的。如声、图、文电子信箱,文本传递等。(3)检索型业务:包括宽带可视图文、高分辨率图像检索,文件/数据检索等,应用于远程教学、远程诊断、远程购物及娱乐等。该业务是即时进行的,可以是点对点或点对多点方式。2.分配型业务按用户能否进行单独演示控制,分配型业务分为两种:。(1)用户不能控制的分配型业务:包括常规电视、文件传送、高速不受限制数字信息传递等。分配型业务,可以用于电视节目的分配和电子报纸等。该业务是广播型的,用户不能,控制广播信息的起始时间和顺序。(2)用户能够进行单独演示控制的分配型业务:包括全频道广播视频通信,可用于远程3教学,新闻检索和节目点播等。该业务是点播型的,用户可以控制节目播放的起停和顺序。8.1.4多媒体通信的应用随着信息社会的到来,教育、科研、商业等众多行业利用多媒体通信技术提高工作效率的需求越来越迫切,多媒体通信技术的发展也有赖于应用环境的发展。多媒体通信应用领域主要有以下几方面:(1)办公自动化:多媒体通信技术的主要受益领域是办公和商业化环境。利用多媒体通信技术建起的“虚拟办公室”可以将相距遥远的工作人员密切地联系起来,就像在一个办公室里面对面那样交流和处理各种不同的信息。在不远的将来,工作人员可以在不同地点的办公室,甚至在家里起草,修改,处理各种公文、图纸等文件。(2)服务行业:包括教育、财政、医疗服务等。远程多媒体教育可以克服地理限制,学习者身临其境,声、文、图同时作用于感官,生动而深刻,增加了参与感,增强了学习效果。“交互式指导”的教学模式,使学习者能够接受针对性的引导,并有控制地纠正错误。远程医疗诊断可以提供对异地的医疗信息库的远程查询,实现多处异地医疗会诊和诊断,使诊断更及时、更有效。(3)科研和工程;使用多媒体通信可支持分布式制造和设计。(4)家庭;多媒体通信给家庭用户提供了大量的信息服务,如看新闻、受教育、保健、医疗、休闲、社会活动、消费活动、家庭管理等。多媒体通信的家庭应用是一个潜力很大的市场。(5)其它应用领域:在军事和保安(指挥、调度、会议与现场检测)、交通管理、金融、保险、房地产等领域也有广泛的应用。目前,人们比较关心的多媒体通信有多媒体会议电视、远程购物、远程医疗、远程教育、游戏等。多媒体通信将成为下一世纪的基本通信方式。8.1.5多媒体通信中的关键技术多媒体通信技术可以分为多媒体通信终端技术、支持多媒体业务的通信网络技术和多媒体应用系统技术三部分。其中关键技术主要有音频、视频数据压缩编码技术,宽带网络技术,信号处理与识别技术。1.音频、视频数据压缩编码技术多媒体信息的信息量通常都很大,特别是视频信息,在不压缩的条件下,其传送速率可在140Mb/s左右,至于高清晰度电视(HDTV—HighDefinitionTelevision)则高达1000Mb/s。为了节约带宽,让更多的多媒体信息在网络中传送,必须对多媒体信息进行高效的压缩。经过了近20年的努力,语音信号压缩技术、视频压缩技术有了重大的发展,出现了H.261、H.263、MPEG-l、MPEG-2等一系列的视频压缩的国际标准,经压缩后的HDTV信息速率只有20Mb/s。64Mb/s的语音信号经压缩后可降到32Kb/s,甚至5~6Kb/s。为了提高信道利用率,视频与音频压缩编码作为多媒体信源编码技术必须首先解决。2.宽带网络技术尽管通过各种数据压缩能够大大降低多媒体信息的数据率,从而降低多媒体通信对通信网传输速率的要求,即降低了对信道带宽的要求,但压缩后的多媒体数据率仍较高,如前面提到的经压缩后的HDTV信息速率仍有20Mb/s,为了不失真地进行传输,要求传输信道4的带宽应为20MHz。目前,以ATM技术为核心的B-ISDN无疑是多媒体通信的理想网络。IP技术也在飞速发展,ITU-T于1996年10月公布了用于IP网上的多媒体终端标准—H.323。在Internet网上实现多媒体通信也是一个重要的发展方向,但必须解决带宽不易控制、时延不能保证、QoS不能保证等问题。接人网是目前通信网中的瓶颈,全光网、无源光网络、光纤到户是公认的理想的接入网,但所需的巨额投入限制了其使用。当前较为有效的解决方案是充分挖掘现有铜线的潜力,将其改造成宽带接入网。3.信号处理与识别技术除了前面已经提到的视频、音频数据压缩编码等对多媒体信息的处理之外,为了适应长距离地传输信号,还必须对信号进行纠错编码、采用适当的调制技术和一定的数字滤波技术。8.2音频数据压缩技术8.2.1概述.多媒体信息主要包括图像、声音和文本三大类,这些信息具有数据量大,码率可变,突发性强,复合性信息多,同步性、实时性要求高等特点。比如PAL制彩色电视信号,其带宽为5MHz,帧速率为25帧/s,样本宽度是24bit,而采样频率至少应为10MHz。一帧这样的视频图像数字化后为:(10MHz/25)*24=9.6Mbit=1.2Mbyte1秒钟的视频图像为:1.2*25=30Mbyte这样,市场上650MB的光盘只能存放20多秒的视频图像。音频信号也存在类似的问题。模拟音频信号的带宽为22KHZ,采样速率至少为44KHz,若样本宽度为16bit,则1秒钟的音频信号数字化后将有:44*16=704Kbit=88Kbyte而目前PSTN的传输速度最高才有33.6Kbit/s。因此,为了有效地对多媒体信息特别是图像和音频信息进行高效率的传输、存储和处理,必须对图像和声音等多媒体信息进行适当的处理。这些处理既包括常规的信号采集、数字化、滤波、重建等过程,还包括信息压缩、编码、存储等处理,这些处理对多媒体通信尤为重要。其中多媒体信息的压缩技术是多媒体通信的核心技术之一,在保证所需的传输质量的条件下,压缩比越大,传输成本越小,传输效率越高。1.数据压缩的依据——数据冗余我们知道,直接对多媒体信息数字化后得到的数据量是巨大的,现有的存储、处理及传输设备都无法对如此巨大的数据量进行管理和操作。所幸的是,在原始的多媒体数据中除有用信息外,还有大量的无用信息,这就是数据冗余。将这些无用的信息去除,就可以达到压缩数据的目的。因而数据压缩技术的核心是利用最短的时间和最小的空间,传输和存储多媒体数据信息。多媒体数据中的数据冗余一般有以下6种:5(1)空间冗余:图像中统一色彩区域中的相邻像素,其色彩信息将是相同的。这种相邻像素色彩信息的相关性产生了数字化图像中的数据冗余。(2)时间冗余:如前一幅图像和后一幅图像有很多相同之处,存在有很大的相关性。这些都属于时间冗余。(3)信息熵冗余(编码冗余)。信息熵指的是一组数据所携带的信息量。在数据编码过程中,码元的长度通常与信息出现的概率相对应,但码元长度按概率对应的数据量往往大于信息量,由此产生了信息熵冗余。(4)结构冗余:某些图像存在结构上的一致,如一堵砖墙或网格状的麦田,构成了图像数据结构冗余。(5)知识冗余:许多图像的理解与某些知识有很大的相关性。如人脸的图像有固定的结构,这个结构规律是我们所熟知的,这就是知识冗余。(6)视觉、听觉冗余:人眼