04 网络多媒体基础知识

多媒体基础知识本章目标多媒体和多媒体技术多媒体网络音频基础视频基础流媒体技术基础RTP协议概述对RTP协议进行封装多媒体“多”是指多种媒体体现、多种感官作用、多种设备、多学科交汇和多领域应用“媒”是指它可作为人与客观事物的中介；“体”是指其能够综合、集成一体化多媒体技术多媒体技术是指把文字、音频、视频、图形、图像和动画等多媒体信息通过计算机进行数字化采集、获取、压缩/解压缩、编辑和存储等加工处理，再以单独或合成形式表现出来的一体话技术多媒体技术特性集成性－－采用了数字信号，可以综合处理文字、声音、图形、动画、图像和视频等多种信息。交互性－－可以方便地实现人机交互智能性－－提供了易于操作、十分友好的界面，使其更直观、更方便、更亲切和更人性化易扩展性－－可方便地与各种外部设备挂接，实现数据交换、监视控制等多种功能。多媒体网络把多媒体的概念与网络相结合在网络上展示多媒体，这是未来网络发展的趋势由多媒体终端、多媒体接入网络、多媒体传输骨干网络以及能够满足多媒体网络化应用的网络软件等部分组成多媒体网络特性业务等级保证，多媒体网络应能根据不同的业务提供不同的质量等级高带宽，也就是网络的宽带化可靠性保证。实时性，这是多媒体通信网与传统数据网的本质区别主流音频编码（2－1）PCM编码：PCM脉冲编码调制是PulseCodeModulation的缩写。PCM编码最大的优点就是音质好，最大的缺点就是体积大WAV:是由微软开发的音频文件格式。WAV符合RIFF规范，MP3编码：作为目前最为普及的音频压缩格式是MPEGAudioLayer-3的简称，是MPEG1的衍生编码方案OGG编码MPC编码主流音频编码（2－2）MP3PRO编码：是一种基于MP3编码技术的改良方案WMA：是WindowsMediaAudio编码后的文件格式RA：就是RealAudio格式，大部分音乐网站的在线试听都是采用了RealAudio格式APE:是Monkey’sAudio提供的一种无损压缩格式视频基础在Internet上传输视频有许多困难，其根本的原因在于Internet的无连接每包转发机制主要为突发性的数据传输设计，不适用于对连续媒体流的传输视频传输编/解码标准•国际电联的H.261和H.263标准•M-JPEG•MPEG系列标准国际电联的H.261和H.263标准1.H.261:此算法为了优化带宽占用量，引进了在图像质量与运动幅度之间的平衡折中机制，也就是说，剧烈运动的图像比相对静止的图像质量要差2.H.263：是国际电联ITU-T的一个标准草案，是为低码流通信而设计的M-JPEG•M-JPEG即运动静止图像（或逐侦）压缩技术，广泛应用于非线性编辑领域，可精确到侦编辑和多层图像处理。•M-JPEG的压缩和解压缩是对称的，可由相同的硬件和软件实现•M-JPEG只对侦内的空间冗余进行压缩，不对侦间的时间冗余进行压缩，故压缩效率不高MPEG系列标准（2－1）MPEG是活动图像专家组的缩写，MPEG组织目前已经提出MPEG-1、MPEG-2、MPEG-4、MPEG-7和MPEG-21标准•MPEG-1标准：于1993年8月公布，用于传输1.5Mbit/s数据传输率的运动图像及其伴音。该标准包括5部分：第1部分说明了如何根据第二部分（视频）以及第三部分（音频）的规定，对音频和视频进行符合编码；第4部分说明了检验解码器或编码器的输出比特流符合前3部分规定的过程；第5部分是一个用完整的C语言实现的编码和解码器•MPEG-2标准：于1994年推出MPEG-2压缩标准，以实现视/音频服务与应用互操作的可能性。MPEG系列标准（2－2）MPEG-4标准：于1999年2月正式公布了MPEG-4标准第1版本。同年年底MPEG-4第2版也确定，且于2000年年初正式成为国际标准MPEG-7标准：被称为“多媒体内容描述接口”，为各类多媒体信息提供一种标准化的描述。流媒体概述（2－1）流媒体技术是一种新兴的网络传输技术，它能实现在互联网上实时顺序地传输和播放视/音频等多媒体内容。流媒体技术包括流媒体数据采集、视/音频编解码、存储、传输和播放等领域流媒体概述（2－2）广义上的流是使音频和视频形成稳定和连续的传输流和回放流的一系列技术、协议和方法的总称，习惯上称为流媒体系统狭义上的流是相对于传统的下载－回放方式而言的一种媒体格式，它能从Internet上获取音频和视频等连续的多媒体流流媒体技术缓存技术：可以使用缓存系统来弥补延迟和抖动的影响，并保证数据包的顺序正确，从而使媒体数据能连续输出，而不会出现因为网络暂时拥塞使播放出现停顿的现象流媒体传输流程1.web浏览器与web服务器之间使用HTTP/TCP交换控制信息，以便把需要传输的实时数据从原始信息中检索出来2.用HTTP从Web服务器检索相关数据，播放器进行初始化3.从web服务器检索出来的相关服务器的地址定位A/V服务器4.A/V播放器与A/V服务器之间交换A/V传输所需要的实时控制协议5.一旦A/V数据抵达客户端，A/V播放器就可以播放了流媒体传输协议实时传输协议RTP和TRCP：RTP是用于Internet/Intranet针对多媒体数据流的一种传输协议。RTP被定义为在一对一或一对多传输的情况下工作，其目的是提供时间信息和实现流同步。RTP通常使用UDP来传送数据，但RTP也可以在TCP或ATM等其他协议上工作实时流协议RTSP实时流协议RTSP是由RealNetWorks和Netscape共同提出的，该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。RTSP在体系结构上位于RTP和RTCP之上，它使用TCP或RTP完成数据传输资源预定协议RSVP由于音频和视频数据流比传统数据对网络的延时更敏感，要在网络中传输高质量的音频、视频信息，除带宽要求之外，还需要其他更多的条件。流媒体发展现状Internet/Intranet上使用较多的流媒体技术主要有RealNetworks公司的RealSystem,Microsoft公司的WindowsMediaTechnology和Apple公司的QuickTime,它们是流媒体传输系统的主流技术音频编解码类型G7231编解码G729编解码G7231编码用法编码初始化Init_Coder()•编码函数Coder(short*,char*)G7231解码用法解码初始化Init_Decod()解码函数Decod(short*,char*,short)G729编码G729编码初始化va_g729a_init_encoder();G729编码va_g729a_encoder(short*,(unsignedchar*)G729解码解码初始化va_g729a_init_decoder()解码函数va_g729a_decoder(unsignedchar*,short*,int)RTP协议RTP是一种提供端对端传输服务的实时传输协议，用来支持在单目标广播和多目标广播网络服务中传输实时数据RTP是传输层上的协议RTP可以看成是传输层的子层。由多媒体应用程序生成的声音和电视数据块被封装在RTP信息包中，每个RTP信息包被封装在UDP消息段中，然后再封装在IP数据包中应用层RTPUDPIP数据链路层物理层RTP和UDP之间的接口从应用开发人员的角度来看，可把RTP执行程序看成是应用程序的一部分，因为开发人员必需把RTP集成到应用程序中。在发送端，开发人员必需把执行RTP协议的程序写入到创建RTP信息包的应用程序中，然后应用程序把RTP信息包发送到UDP的套接接口RTP头012345678901234567890123456789010123V=2PXCCMPTsequencenumbertimestampsynchronizationsource(SSRC)identifiercontributingsource(CSRC)identifier………………payload(audiovideo)…………………RTP头域（2－1）名称说明版本(v)2位，标识RTP版本填充标识(P)1位，如设置填充位，在包尾将包含附加填充字，它不属于有效载荷扩展(X)1位，如设置扩展位，固定头后跟一个扩展头CSRC计数（CC）4位，CSRC计数包括紧接在固定头后CSRC标识符个数标识（M）1位，标识解释由设置定义，目的在于允许重要事件在包流中标识出来，载荷类型（PT）7位，记录后面资料使用哪种codec，接收端找出相应的decoder解码出来RTP头域（2－2）名称说明系列号16位，系列号随每个RTP数据包而增加1，由接收者用来探测包损失，系列号初值是随机的，使对加密的文本攻击更难时标32位，时标反映RTP数据包中第一个八进制数的采样时刻，采样时刻必须从单调、线性增加的时钟导出，以允许同步与抖动计算SSRC32位，标识同步源，此标识不是随机选择的，目的在于使同一RTP包连接中没有两个同步源有相同的SSRC标识CSRC列表0到15项，每项32位。CSRC列表表示包内的对载荷起作用的源。标识数量由CC段给出。如超出15个作用源，也仅标识15个