多媒体通信

2010/11/101《多媒体通信》第三章多媒体同步机制陈晓辉2010年11月10日上周要点回顾：所涉及同步技术点到点系统中的同步CD-DA:EFM8-14MP3:Tag、FrameHeaderDAB:MP2HDTV:ES、PES、PS、TSMPEG-4AVC/H.264:VCL、NAL多点系统中的同步从面向存储到面向网络的转变从点到点到点到多点、多点到多点的转变3D视频的革命多媒体同步20年-同步技术90年载波同步/载波恢复码元同步/时钟恢复/位同步群同步/帧同步网同步多媒体同步（时间空间）基于内容的多媒体同步？1920’s196519902010？背景：数字通信系统中的同步载波同步/载波恢复在接收设备中产生一个和接收信号的载波同频、同相的本地振荡，用于相干解调。码元同步/时钟同步/时钟恢复/位同步从接收信号中获取同步信息，由其产生一时钟脉冲序列，使后者和接收码元起止时刻保持正确关系。或插入辅助同步信息。群同步/帧同步通常需要在发送信号中周期性地插入一个同步码元，标示出分组位置。网同步1919年英国最早试行无线电广播1965年贝尔公司（AT＆T）发明并使用了世界上第一台程交换机媒体同步关注的问题模拟电视系统音频、视频之间的同步HDTV系统音频、视频、字幕等之间的同步类PPLIVE系统多个视角时间的同步声音/画面；解说/画面的同步不同用户之间“同步”1989年瑞士粒子物理研究所TimBerners-Lee提出一项计划，.....，HTML主要内容什么是多媒体数据同步多媒体同步的定义时间有关的思考多媒体数据同步容限多媒体数据同步描述分布式多媒体系统的同步典型多媒体系统媒体的同步方法未来可能的相关研究2010/11/102多媒体同步保持和维护各个媒体对象之间和各个媒体对象内部存在的时态关系，组织多种媒体序列以实现某种特定的表现任务。多媒体同步示例：新闻语音记者念的第一条新闻声音引导音乐音乐渐隐视频世界报道片头播音员全景图像播音员上方的照片（播音员）整理讲稿整理领带播音员播第一条新闻时间多媒体同步的分类同步（Synchronization）从广义上讲，同步是指多媒体系统中各个媒体对象之间存在的时间、空间、以及逻辑关系。在分布式多媒体通信中，同步是一个基于时间的概念，是指多媒体系统中各个媒体对象之间存在的时间关系，同步的目的就是向用户展示多媒体信息时，保持媒体对象之间固有的时间关系。分类流内同步（Intra-streamSynchronization）是指在单一连接上的单一媒体流内各个媒体单元之间存在的时间关系。流间同步（Inter-streamSynchronization）是指在多个连接上的相关媒体流之间存在的时间关系。时间的度量世界时（UT，UniversalTime）当地球绕轴自转一周，地球上任何地点的人连续两次看见太阳在天空中同一位置的时间间隔为一个平太阳日。1820年法国科学院正式提出：一个平太阳日的1/86400为一个平太阳秒，称为世界时秒长。原子时间（AT，AtomicTime）计量标准在1967年正式取代了天文学的秒长的定义新秒长规定为：位于海平面上的铯Cs133原子基态的两个超精细能级间在零磁场中跃迁振荡9192631770个周期所持续的时间为一个原子时秒。协调世界时（UTC，CoordinatedUniversalTime）UT和AT相结合（通过闰秒实现）时间的概念：授时系统目前世界各国都采用原子钟来产生和保持标准时间，这就是“时间基准”，然后，通过各种手段和媒介将时间信号送达用户，这些手段包括：短波、长波、电话网、互联网、卫星等。这一整个工序，就称为“授时系统”。获取时间的各种手段长波授时：长波接收机；电波钟表（在石英钟表内增加了接收无线电长波信号及相应的处理能力）短波授时：普通的收音机语音报时：各地电信的117电话授时：电话授时接收机互联网授时：Windows或Linux等操作系统支持卫星授时：美国的GPS，俄罗斯的GLONASS以及欧盟一些国家研制中的Galileo卫星电视中的时间信号：副载波接收机2010/11/103电波钟电波钟表是在石英电子钟表内增加了接收无线电长波信号、数据处理、自动校正的功能结构，能接收地面发射站以长波发送的标准时间信号来自动校正石英电子钟表的走时误差。五十年代末，德国就在法兰克福建台，发射频率为77.5千赫的长波时间信号。国家授时中心1999年建成每天可工作5小时的试验台（100KW全固态发射机，发射频率68.5千赫）；2000年完成试播和部分外场测试，证明设计正确；同年，接收芯片研制成功，电波钟样机问世。时间精度的不同要求时间准确度频率稳定度卫星导航±20纳秒±2×10^-13电子侦察卫星±10纳秒±5×10^-13巡航导弹±50纳秒±5×10^-13卫星测轨±50纳秒±1×10^-12高速数字通信网±0.5微秒±5×10^-12电力传输网±1微秒±1×10^-11电视校频±5×10^-12Source频率的稳定度：时间既然由原子振荡频率来定义。因此频率稳定度和频率准确度便成为时间测量的一个重要概念。在时频测量中习惯上把不稳定性称为稳定度。可观察到的时间量TIDSP(C6455)中断响应：4usWindows线程启动：1-10ms音频压缩的样本序列长度:5ms/10ms/20ms视频中一帧图像的产生时间：30ms-40ms100M以太网传输700万像素JPEG图像：100ms网络视频播放的缓冲时间：20s-60s问题1：多媒体同步需要的时间精度？问题2：多媒体同步难度？主要内容什么是多媒体数据同步多媒体数据同步容限同步容限/QoS/QoE同步容限与内容的相关性多媒体数据同步描述分布式多媒体系统的同步典型多媒体系统媒体的同步方法未来可能的相关研究同步容限CPU抢占、缓冲区不大传输带宽不足等因素往往会导致在恢复后的时域场景中时域事件间的相对位置发生变化，我们将这种变化称为事件间偏差(SKEW)。属于同一媒体对象的时域事件之间的偏差称为对象内偏差，不同媒体对象的时域事件之间的偏差为对象间偏差。同步容限包含了用户对偏差许可范围的定义，同步机制则需依据同步容限，保证恢复场景中事件间偏差在其许可范围内。常见多媒体业务对传输网络的要求2010/11/104同步容限与内容有关人对于视频/音频之间同步程度的感知与视频内容有关HumanPerceptionofJitterandMediaSynchronizationIEEEJOURNALonSelectedAreasonCommunications,Vol.14,No.1,Jan1996GoogleScholar显示引用408次小结：典型音视频同步问题数据流1：图像帧率是30fps，即每隔33.3ms产生一个完整的图像数据块数据流2：音频采样频率是44.1k，一般每20ms的数据作为一个传输数据块主要内容什么是多媒体数据同步多媒体数据同步容限多媒体数据同步描述WEB数据的描述：HTML/XML/SemanticWeb软件系统的描述：UML多媒体时间域信息的描述：PetriNet/OCPN分布式多媒体系统的同步典型多媒体系统媒体的同步方法未来可能的相关研究超文本&超媒体HTML中嵌入图片imgsrc=“test.jpgwidth=“88height=44HTML中嵌入背景音乐bgsoundsrc=test.WAVloop=-1HTML中嵌入视频文件imgborder=0dynsrc=clock.avistart=fileopenwidth=321height=3212010/11/105SGML/XML/HTML标准通用标记语言(StandardGeneralizedMarkupLanguage，SGML)是1986年出版发布的一个信息管理方面的国际标准。该标准定义独立于平台和应用的文本文档的格式、索引和链接信息，为用户提供一种类似于语法的机制，用来定义文档的结构和指示文档结构的标签(tag)。制定SGML的基本思想是把文档的内容与样式分开。XML(ExtensibleMarkupLanguage)是SGML的一个子集HTML是SGML的一种文档类型SGML文档的三个层次1.结构：用一个单独的文件来描述文档的结构(文档类型定义DocumentTypeDefinition，DTD文件)。2.内容：这里指的内容就是信息本身。内容包括信息名称(标题)、段落、项目列表和表格中的具体内容，具体的图形和声音等。3.样式：用专门的标准来描述显示格式方面的信息，即文档样式语义学和规范语言(DocumentStyleSemanticsandSpecificationLanguage，DSSSL)。XML的基本语法?xmlversion=1.0encoding=GB2312standalone=no?!DOCTYPE菜单SYSTEM“test.dtd?xml-stylesheettype=text/xslhref=“test.xsl?菜单目录徽菜系列名称平地一声雷/名称厨师王XX/厨师饭店金满楼/饭店价格正常价格38/正常价格优惠价格28/优惠价格!--只对VIP用户--/价格/徽菜系列/菜单目录Test.xml此文件中记录了所有的数据文档类型定义文件DTD?xmlversion=1.0encoding=GB2312?!ELEMENT菜单目录(徽菜系列)*!ELEMENT科技书籍(名称,厨师,饭店,价格)!ELEMENT价格(正常价格,优惠价格)!ELEMENT名称(#PCDATA)!ELEMENT厨师(#PCDATA)!ELEMENT饭店(#PCDATA)!ELEMENT正常价格(#PCDATA)!ELEMENT优惠价格(#PCDATA)Test.dtd此文件中记录了结构信息XML数据的显示控制xsl:templatematch=菜单目录xsl:for-eachselect=徽菜系列ULLIxsl:value-ofselect=名称//LILI厨师:xsl:value-ofselect=厨师//LILI饭店:xsl:value-ofselect=饭店//LILI正常价格:xsl:value-ofselect=价格/正常价格//LILI优惠价格:xsl:value-ofselect=价格/优惠价格//LI/UL/xsl:for-each/xsl:templateTest.xsl此文件中记录了显示格式WhatisSMILSMIL是同步多媒体集成语言（SynchronizedMultimediaIntegrationLanguage）的缩写,念做smile。参与制定该标准的公司包括Compaq、Gateway、IBM、Microsoft、RealNetworks、Oratrix等等。SMIL与我们网页上用的HTML（超文本传输语言）的语法格式非常相似。后者主要针对普通的网络媒体文件进行操纵（文字、图片、声音、动画、视频的机械堆砌），而前者则操纵多媒体片断（对多媒体片断的有机的、智能的组合）。2010/11/106用SMIL语言连续播放rm片断smilheadlayoutregionid=aleft=0top=0/!--定义区域a，使其左上角紧挨播放窗口左上角--/layout/headbod