音视频通信基础知识

音视频基础知识2目录1.视频分辨率和帧率2.视频接口3.音频接口4.协议标准5.视频会议视频分辨率和帧率视频分辨率：代表图像静态清晰度的参数完整表述用象素“长*宽”（1920*1080），简要表述用宽（1080P）视频会议常用分辨率：CIF、4CIF（DVD）、720P（HD）、1080P（FullHD）、4K视频分辨率4K=3840*2160或=4096*21601080P=1920*1080720P=1280*7204CIF=704*576=DVDVCD=CIF=352*2881专用词分辨率XGA1024×768WXGA(WideXGA)1280×7681280×8001366×768WSXGA(WideSuper-XGA)1280×854Quad-VGA1280×960WXGA+(WideXGA+)1440×900SXGA(Super-XGA)1280×1024WXGA++(WideXGA++)1600×900SXGA+1400×1050WSXGA+(WideSuper-XGA+)1680×1050UXGA(Ultra-XGA)1600×1200WUXGA(WideUltra-XGA)1920×1200QXGA(Quad-XGA)2048×1536WQXGA(WideQuad-XGA)2560×1600QSXGA(Quad-Super-XGA)2560×2048QUXGA(Quad-Ultra-XGA)3200×24004K2K4096×2048VESA标准分辨率VESA（VideoEletronicsStandardAssociation，视频电子标准协会）视频会议双流中，Content经常会遇到这些分辨率1P还是I？1080P和1080i，有什么不同呢P：逐行扫描显示屏显示图像进行扫描时，从屏幕左上角的第一行开始逐行进行，整个图像扫描一次完成。因此图像显示画面闪烁小，显示效果好。目前先进的显示器大都采用逐行扫描方式i：隔行扫描一幅图像分两次扫描，即分两场，第一场扫1、3、5……(单数行)，称为奇数场，第二场扫2、4、6……(双数行)，称为偶数场。奇数场和偶数场组合起来，就构成一幅完整的图像。缺点当图像上下两行的对比度差别很大时产生行间闪烁1视频帧率视频帧率：代表图像动态流畅度的参数，帧率越高越流畅视频会议主流帧率：30/60（NTSC制）、25/50（PAL制）PAL电视标准，每秒25帧，电视扫描线为625线，奇场在前，偶场在后，标准的数字化PAL电视标准分辨率为720*576,24比特的色彩位深，画面的宽高比为4：3,PAL电视标准用于中国、欧洲等国家和地区。NTSC电视标准，每秒29.97帧（简化为30帧），电视扫描线为525线，偶场在前，奇场在后，标准的数字化NTSC电视标准分辨率为720*486,24比特的色彩位深，画面的宽高比为4：3。NTSC电视标准用于美、日等国家和地区中国的行货设备一般为PAL制，主要参数表现是25帧/50帧请注意，NTSC30帧与PAL制25帧实现效果是一样的1视频接口将视频信号中的亮度信号（Y）、色度信号（C），和同步信号复合传输和存储的方式复合视频（Composite）通常采用黄色的RCA（莲花插座）接头也可用BNC接头（同轴电缆）“复合”含义是同一信道中传输亮度和色度信号的模拟信号PALz720*576/50i和NTSC720*480/60i复合视频接口（CVBS）2•VGA（VideoGraphicsArray）也称作D-Sub•VGA接口共有15针，是显卡及显示器上应用最为广泛的接口•它传输红、绿、蓝模拟信号以及同步信号（水平和垂直信号）•支持高清视频信号的输出：WUXGA（1920×1200）、WQXGA（2560×1600）•由于是模拟信号，线材质量及接头质量不好都可能引起图像中出现虚影、拖尾VGA接口2色差分量接口色差分量（Component）接口采用YPbPr和YCbCr两种标识-YPbPr：逐行扫描色差输出-YCbCr：表示隔行扫描色差输出用红、绿、蓝三种颜色来标注每条线缆和接口-绿色线缆（Y），传输亮度信号-蓝色和红色线缆（Pb/Cb和Pr/Cr）传输的是颜色差别信号色差分量接口是模拟接口，支持视频信号：-480i/480p/576p/720p/1080i/1080p2有DVI-A、DVI-D和DVI-I三种不同的接口形式DVI-D数字接口，24+1PIN,只传数字信号，DVI-I有数字和模拟接口，24+5PIN,兼容DVI-D和DVI-A，兼容与VGA直接转换是一种国际开放的接口标准，在PC、DVD、高清晰电视（HDTV）、高清投影仪等设备上有广泛的应用DVI-D单通道：1920x1200,60HzDVI-D双通道：2560x1600,60Hz/1920x1080,120HzVGA：2048x1536,60HzDVI-DDVI-IDVI接口24+1PIN24+5PINDVI（DigitalVisualInterface），即数字视频接口2HDMI高清晰度多媒体接口（HighDefinitionMultimediaInterface）传输全数字信号不仅能传输高清数字视频信号，还可以同时传输高质量的音频信号HDMI端口支持4K、1080P，720P的高清格式视频输出HDMI1.4带宽10.2Gbps,最高支持3840×2160（4K）@30FPS帧率HDMI2.0带宽扩充到了18Gbps，可以支持3840×2160（4K）@50FPS、60FPS帧率HDMI接口2SDI接口是数字分量串行接口(serialdigitalinterface)•接口速率-标准清晰度SD-SDI：速率分别是270Mb/s-高清标准HD-SDI：1.485Gb/s-3G-SDI：2.97Gb/s•支持1080P，720P的高清格式视频输出•SDI信号中嵌入数字音频信号•物理介质使用75欧姆同轴电缆SDI接口2DP接口•DisplayPort也是一种高清数字显示接口标准，20针•可以同时传输视频和音频，可以连接电脑和显示器，也可以连接电脑和家庭影院•作为HDMI的竞争对手和DVI的潜在继任者，DisplayPort赢得了AMD、Intel、NVIDIA、戴尔、惠普、联想、三星等业界巨头的支持，而且它是免费使用的。•最大支持10.8Gb/S的传输带宽全尺寸DP接口MiniDP接口HDMI与DP对比2USB3.0接口USB3.0是一种USB规范，该规范由英特尔等公司发起USB2.0的最大传输带宽为480MbpsUSB3.0的最大传输带宽高达5.0GbpsUSB3.0引入全双工数据传输。新增5根线路中2根用来发送数据，另2根用来接收数据，还有1根是地线可外接高分辨率的视频摄像机；USB接口的数码相机、数码摄像机；2常见视频输入输出设备HD-SDIHDMIDVI-DUSB3.0VGAHDMIVGAHDMIYPbPrCVBSHD-SDIHDMIDVI-DVGAVGADVI-DHDMIHD-SDIHDMI2音频接口XLR（卡农）插头输出/输入平衡信号，高阻抗。分“公”、“母”两种“公”用于输出信号，比如将信号输入给调音台“母”用与接受信号，比如接受话筒的信号等36.35mm音频插头TRS插头，俗称“大三芯”，音频设备连接插头用于平衡信号的传输（此时功能与卡农插头一样）或者用于不平衡的立体声信号的传输TS插头，俗称“大二芯”，单声道信号的传输比大三芯少一个环（Ring），可以直接通过芯对芯，屏蔽层对屏蔽层的焊接与RCA，BNC等用于单声道的接头实现转换只能传输非平衡信号33.5mm音频插头•3.5mm插头是直径为3.5mm的同轴音频插头•最常见的立体声耳机分三芯，也有两芯的，每一层都有对应的功能3音频输入区MIC(XLR卡侬)Linein(TRS大三芯)TAPEin(RCA)音频输出区MAINOUT：主输出MONITOR：监听输出AUXOUT:辅助输出…音效调节区音量调节区重要提示:需要在调音台上小鱼对应的输入通道，将AUX的旋钮调制0小鱼声卡输入接口对接AUX输出小鱼声卡输出接口对接Linein输入33AUX1回声产生的机制InOut常用音频设备及接口调音台XLR卡侬TS大二芯TRS大三芯RCA音箱RCA-3.5mm无线麦克风XLR卡侬TS大二芯TRS大三芯鹅颈麦克风XLR卡侬-TRS大三芯全向麦克风XLR卡侬-TRS大三芯麦克混音器XLR卡侬TRS大三芯3协议标准•如ISDN，E1，ATM，IP专网，互联网等通信网络•H.320,H.323,SIP,私有通信标准等通信标准•视频会议终端（T),多点控制单元（MCU）,多媒体网关（GW），网闸/网守（GK）系统设备视频会议系统组成4通信协议：H.323和SIPH.320基于电路交换在ISDN和E1线路使用已经被H.323取代H.323ITU-T组织提出分组交换，IP网络为视频会议而生，由H.320发展而来定义完整严格细致，扩展困难成熟稳定，目前主流90%以上SIPIETF组织提出一开始是在VOIP中使用定义基础开放，容易扩展互连互通容易，稳定性慢慢被认可Terminal终端Gateway网关MCU多点控制单元Gatekeeper网守IP网PSTN4实时传输协议RTP（Real-timeTransportProtocol）该协议提供的信息包括：时间戳（用于同步）、序列号（用于丢包和重排序检测）、以及负载格式（用于说明数据的编码格式）RTP被认为是在IP网络中传输音频和视频的基本标准可视为传输层的子层，介于传输层及应用层之间视频通信常用的传输协议4VideoCodecH.264,H.263AudioCodecG.711,G.729ReceivePathDelaySystemControlH.245ControlCallControlH.225.0RASControlH.225.0复用/解复用H.225/H.221LAN接口视频I/O设备音频I/O设备用户数据应用T.120系统控制用户接口发端，从输入接口获取的视频和音频信号，经编码器压缩后，同步和复用处理，通过网络发送；收端，来自网络的数据包首先被解复用，获得视频、音频压缩数据，经解码后送入输出设备，用户数据和控制数据也得到了相应的处理。H.323终端架构4视频编解码算法H.261/263/263+/263++•标清时代的视频算法H.264AVC（H.264HP）•高清视频会议主流算法，其中highprofile大幅降低了带宽需求，让高清普及H.264SVC/H.265•主流技术发展趋势4H.264/SVC时间上可扩展一次编码产生不同的帧速率，例如：7.5帧、15帧、30帧空间上可扩展一次编码产生不同的分辨率，例如：180p、360p、720p、1080P视频质量扩展一次编码产生不同质量等级的视频H.264SVC（ScalableVideoCoding，可分级编码）视频编解码：H.264SVC是H.264标准的一个扩展SVC的编码复杂度要超过AVC对于DSP性能或者CPU性能要求更高对异构系统的适应性更好MCU的计算压力降低，适合云服务4传统视频协议(H.264/AVC)SVC视频协议(H.264/SVC)视频会议可以容忍的网络丢包率2–5%20%对网络的要求专线共享线路视频会议延迟:视频会议效果400毫秒实时性一般200毫秒实时交互异构系统的兼容性兼容性差兼容性极佳视频编解码：H.264SVC小鱼采用的是更牛一些的H.264SVC4•H.265旨在有限带宽下传输更高质量的网络视频•相比H.264,提高了压缩率，可节省39%-44%的带宽•相比H.264提升了错误恢复能力，对网络的适应性也显著提升•H.265支持4K、8K的超高清视频。视频编解码：H.265/HEVC4G.711•带宽：64K•采样率：8KHZ•带宽高、压缩比小、延时短G.728•带宽：16K/8K•采样率：8KHZ•延时短，算法复杂G.729