3.H323的呼叫过程与音视频编码原理---new

1H323中呼叫的建立及音视频协议原理及应用兴唐公司视讯部康宏2目录H323中呼叫的角色与时序H323中MCU设备的作用音视频编码的基本原理会议出现问题的分析方法3（一）H323中呼叫的角色与时序H323中参与呼叫的角色H323中角色的分工终端注册的时序呼叫时序4H323中参与呼叫的角色实际端点（EndPointer)桌面终端会议室型终端逻辑端点可实现端点功能的软件(如：MCU中H323卡中软件)GK(Gatekeeper)5H323中呼叫角色的分工端点（EndPointer)向GK注册主叫/被叫向GK发出呼叫请求GK(Gatekeeper)认证/接受终端注册请求解释/响应端点的呼叫信息通信过程中，传递控制信道信息总之：在GK的管理下，完成PtoP的呼叫。6终端注册的时序1。RRQ包含：端点IP地址、端点号码（E164)、终端注册密码（H323ID)2。LRRQ的概念3。URQ的概念、以及终端非正常关机的对GK、及对端终端的影响7专网GK呼叫时序及通道总之：H225(RAS、Q931建链)过GK。H245(能力、数据逻辑通道)在端点间。H245包括：1。能力协商2。EP1到EP2的Audio/Video逻辑通道3。EP2到EP1的Audio/Video逻辑通道DirectH.245controlchannelconnectionbetweenendpoints123456789T1521300-96RASChannelMessagesCallSignallingChannelMessagesH.245ControlChannelMessages1ARQ2ACF/ARJ3Setup4Setup5ARQ6ACF/ARJ7Connect8Connect9H.245ChannelEndpoint1Endpoint2GatekeeperCloud8网关GK呼叫时序及通道GatekeeperroutedH.245control总之：H225(RAS、Q931建链)、H245(能力、数据逻辑通道)均过GK。12345678910T1521310-961ARQ2ACF/ARJ3Setup4Setup5ARQ6ACF/ARJ7Connect8Connect9H.245Channel10H.245ChannelRASChannelMessagesCallSignallingChannelMessagesH.245ControlChannelMessagesEndpoint1Endpoint2GatekeeperCloud9呼叫时序及通道终端均注册在相同的GK，且GK采用路由呼叫模式T1524060-96Gatekeeper1Endpoint2ARQ(1)ACF(2)Setup(3)CallProceeding(5)Alerting(8)Connect(10)Setup(4)CallProceeding(5)ARQ(6)ACF/ARJ(7)Alerting(8)Connect(9)RASMessagesCallSignallingMessagesEndpoint110呼叫能力集的定义及用处能力集举例：g711Alaw64k-60g722_64k-60g728-60h261-1920000BpsCIFat30fpsQCIFat30fpsh263-1920000BpsCIFat30fpsQCIFat30fpsSQCIFat30fpst120终端1终端2终端1能力集终端2能力集建立Audio通道建立Video通道建立Audio通道建立Video通道备注：1。建立通道时则带有通道的编码属性。音频编码：算法图像编码：算法及处理能力（即：带宽、帧速、尺寸）11逻辑通道的种类及带宽的定义1。呼叫参数：对端号码、带宽2。逻辑通道的种类3。协商带宽概念4。通信带宽的概念终端1终端2终端1能力集终端2能力集建立Audio通道建立Video通道建立Audio通道建立Video通道建立Other通道建立Other通道12小结端点（EndPointer)到端点产生呼叫GK(Gatekeeper)的作用呼叫带宽、与能力集的作用13（二）H323中MCU设备的作用MCU设备的概念MCU设备的逻辑会议概念MCU设备的会议处理过程会议模式的用处创建会议的技术参数注册终端时速率的设定14MCU设备的概念硬MCU软MCUMCU的组成主控H323卡Audio卡Video卡端点总线IPNetworkGKMCU控制机MCU端点15MCU设备的逻辑会议概念主控H323卡端点1（UNIT1)总线IPNetworkMCU端点20端点10端点30UNIT。。。ongoing会议端点10、20、30对应UNIT1、2、3端点2（UNIT2)端点3（UNIT3)MCU控制机逻辑会议概念16MCU设备的会议处理过程各逻辑通道间的关系总线IPNetworkMCU端点20端点10端点30主控ongoing会议端点10、20、30对应UNIT1、2、3H323卡端点1（UNIT1)UNIT。。。端点2（UNIT2)端点3（UNIT3)MCU控制机17会议模式的用处VS(VideoSwitch)MCU只做端点信源的转换呼叫时，MCU不会根据终端能力集，改变呼叫带宽！TR(Transcoding)MCU在做端点信源的转换之前，可以实现协议适配、速率适配（即：可根据终端能力，建立连接）CP(ContinuePresence)包括TR的所有功能，并可做硬件的图像分屏。18创建会议的技术参数MCU的选择业务系统自动依照接入原则选择MCU会议模式默认VS、业务系统自动TR会议速率默认384kbps会议音视频协议默认G.722/H.261CIF30f19注册终端时速率的设定终端的编码能力购买终端时的关键技术指标终端所接网络的正常传输能力将直接影响终端的参会质量选择前两项中较低的值，作为终端的注册速率以保证VS会议可以与终端正常建链以保证终端参会时的图像质量20（三）音视频编码的基本原理音视频编码的基本编码方式音频量化/码本编码的基本原理音频编码的编码带宽特点H.26x图像编码的基本原理与编码方式H.26x图像编码的编码带宽特点及图解21音视频编码的基本编码方式量化编码连续信号、抽样、量化、编码帧内编码（I帧）此帧编码只与本帧数据有关，即：解码端可通过本帧编码数据直接进行解码帧间相关编码（P帧、B帧)此帧编码与前/后帧数据有关，即：解码端通过本帧编码数据无法直接进行解码，而必须依照（有时是多个）前/后帧的编码数据才可以进行解码22音频量化编码的基本原理G.711(8KHz采样、8bit量化，即64kbps编码）直接量化编码（抽样定理、奈奎斯特间隔）编码连续信号、抽样、量化、编码Time23音频码本编码的基本原理G.723.1G.723.1编码器的帧长为30ms，还有7.5ms的前瞻，编码器的算法时延为37.5ms。编码速率为5.3kbits/s和6.3kbit/s的双码率编码方案Time24音频编码的编码带宽特点G.711编码速率为64kbit/s的编码方案G.722编码速率为56kbit/s的编码方案G.723（帧长为30ms，还有7.5ms的前瞻，算法时延为37.5ms）编码速率为5.3kbits/s和6.3kbit/s的编码方案G.729（帧长为10ms，编码器含5ms前瞻，算法时延15ms）编码速率为8bit/s的编码方案备注：均为固定带宽编码，且有编码算法时延。25H.26x图像编码的编码方式一种是Intra方式，帧内编码，产生的帧作为关键帧-I帧；另一种是Inter方式，帧间编码，产生的帧作为非关键帧-P帧运动补偿是指利用参考帧和已求得的运动向量重构当前帧26H.26x图像编码的基本原理输入视频帧格式CIF（CommonIntermediateFormat，大小为352×288）QCIF（QuarterCIF，大小为176×144）将每个视频帧分成许多宏块块（Block）的大小为8×81个宏块包括33个块空间冗余(帧内），时间冗余（帧间）使用离散余弦变换DCT使用运动估计和运动补偿27H.26x图像编码的编码带宽特点图像编码的能力集协商图像编码算法以及编码带宽的选定图像帧格式以及图像帧速率的选定H.26x图像编码的编码带宽特点固定的编码算法固定的图像帧格式保证质量的图像帧速率实际编码带宽必须小于协商的编码带宽（一般情况）28确定实际编码速率的因素协商编码带宽图像信源情况29H.26x图像编码过程及相关性30DCT介绍•DCT-离散余弦变换(DiscreteCosineTransform)•离散余弦变换（DiscreteCosineTransform，简称DCT变换）是一种与傅立叶变换紧密相关的数学运算。在傅立叶级数展开式中，如果被展开的函数是实偶函数，那么其傅立叶级数中只包含余弦项，再将其离散化可导出余弦变换，因此称之为离散余弦变换。31•在视频压缩中，最常用的变换方法是DCT,DCT被认为是性能接近K-L变换的准最佳变换，变换编码的主要特点有：（1）在变换域里视频图像要比空间域里简单。（2）视频图像的相关性明显下降，信号的能量主要集中在少数几个变换系数上，采用量化和熵编码可有效地压缩其数据。（3）具有较强的抗干扰能力，传输过程中的误码对图像质量的影响远小于预测编码。通常,对高质量的图像，DMCP要求信道误码率，而变换编码仅要求信道误码率。32DCT快速变换•DCT快速变换考虑到DCT变换中的系数要重复计算，可使用查找表来提高运行的效率，只要开始DCT变换之前计算一次，DCT变换中就可以只查找而无需计算系数。33DCT快速变换•根据H.264中4×4块残差系数的分布特征及DCT系数的能量分布特性,提出一种基于DCT系数子带划分的子带DCT快速算法.该算法在DCT和量化前预判出为零的DCT系数,节省了这些系数的DCT和量化计算开销,提高编码效率.34运动补偿快速算法•运动补偿的最终目的是极小化信源熵率.因此,对具有四叉树结构的运动矢量场,当使用叶部运动矢量替代相应根部运动矢量作运动补偿预测时,若编码运动矢量所增加的熵大于相应补偿帧差所减少的熵,则删除相应的叶部运动矢量,反之,则应使用叶部运动矢量替代根部的运动矢量.35运动补偿快速算法•过对正向搜索的运动矢量场进行自下而上反向优化截断,得到了一个全局优化运动矢量场码率分配的快速算法.通过假设补偿帧差系数的先验概率分布,首先给出了一个闭式补偿帧差系数熵理论计算公式,考虑到视频压缩的有损特性,然后又对这个闭式理论公式作了带权修正.为了进一步提高运动矢量的编码效率36（四）会议出现问题的分析方法线路质量与图像编解码的关系H323对网络的要求网络状态的测试终端在GK的注册终端属性的获得37线路质量与图像编解码的关系线路传输模式的选定CBR、VBR网络时延、抖动对图像解码影响网络丢包对帧间编码的影响造成图像停顿、花屏、托尾的原因38H323对网络的要求时延100ms抖动20ms丢包1/100039测试网络状态•C:＼ping-n50202.103.96.68-l1500Pinging202.103.96.68with32bytesofdata:Replyfrom202.103.96.68:bytes=1500time=50msTTL=241Replyfrom202.103.96.68:bytes=1500time=50msTTL=241Replyfrom202.103.96.68:bytes=1500time=41msTTL=241Requesttimedout.………………Replyfrom202.103.96.68:bytes=1500time=50msTTL=241Replyfrom202.103.96.68:bytes=