第3讲多视点视频技术

Lecture3多视点视频技术信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术内容▪立体成像原理▪多视点技术发展–什么是自由视点视频系统–多视点视频采集技术–信息压缩编码技术–虚拟视点绘制技术▪立体显示技术信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术立体成像原理1111ZYXMvusleftO，O’分别为相机光心，1122ZYXMvutright信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术什么是自由视点视频系统信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术什么是自由视点视频系统信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术什么是自由视点视频系统MVDEncoderChannelMVDDecoderDIBRColorcameraDepthcameraDepthdataTexturedataCaptureEncoderTransmissionDecoderRenderingDisplay信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术什么是自由视点视频系统▪自由视点视频技术具有广泛的应用前景–自由视点电视(FreeViewpointTelevision)–视频会议–娱乐(体育、戏剧以3D形式展现)–虚拟现实–安全(交通、银行全方位监视)–教育(文化遗产保存)信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术多视点视频采集技术▪HHI(GER)▪MERL(USA)▪NAGOYA(JPN)▪GIST,ETRI(KOR)▪POZNAN(POL)▪宁波大学、浙江大学、上海大学、西安电子科技大学等信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术多视点视频采集技术信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术多视点视频采集技术分别为：Rena序列、Akiko序列、Akko&Kayo序列信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术多视点视频采集技术▪深度视频采集原理基于时间飞行原理（time-of-flightTOF），相机包括一个内置的激光光源，发射光经场景中的物体反射后返回相机，每个图像传感器中的像素点都分别精确测量该时间间隔，并独立计算出距离值。信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术多视点视频采集技术信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术多视点视频采集技术▪VideoCamera:BaslerPylonGigE▪DepthCamera:MesaImagingSR4000▪Synchronizer:CA-1000byNationalInstrument信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术多视点视频采集技术▪几何偏差信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术多视点视频采集技术▪几何偏差的校正信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术多视点视频采集技术▪颜色偏差信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术多视点视频采集技术▪色彩校正信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术多视点视频编码▪数据量非常大信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术多视点视频编码RateIncreaseforMultiviewSystem0102030402481632NumberofCamerasRateMultipleSimulcastMultiview信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术多视点视频编码▪先进的编码标准H.264▪精心设计的预测编码结构信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术多视点视频编码信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术多视点视频编码信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术多视点视频编码视频组虞露浙江大学音频组胡瑞敏华中科技大学需求组卢汉青中科院自动化所系统组陈熙霖中科院计算所数字版权管理组刘贤洪长虹电器股份有限公司测试组高麟鹏中国电子技术标准化研究所信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术先进的编码标准H.264/AVC▪DevelopedbyJointVideoTeam(JVT)fromITU-T’sVideoCodingExpertsGroup(VCEG)andISO/IEC’sMovingPictureExpertsGroup(MPEG)信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术先进的编码标准H.264/AVC▪多种分块模式、多参考帧预测编码技术01435786Intra4x4PredModeNameofMode0Vertical1Horizontal2DC3Diagonal_Down_Left4Diagonal_Down_Right5Vertical_Right6Horizontal_Down7Vertical_Left8Horizontal_Up信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术先进的编码标准H.264/AVC▪多种分块模式、多参考帧预测编码技术Intra16x16PredModeNameofIntra16x16PredMode0Vertical(predictionmode)1Horizontal(predictionmode)2DC(predictionmode)3Plane(predictionmode)信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术先进的编码标准H.264/AVC▪多种分块模式、多参考帧预测编码技术Inter16×16Inter16×8Inter8×16Inter8×8Inter8×4Inter4×8Inter4×4Inter8×8List0PredictionList1PredictionBiPrediction12345MacroblockmodeselectionList0,List1orBipredictionselectionReferenceframeselection信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术精心设计的预测编码结构SimulcastKS_IPPKS_PIPKS_IBPMVC信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术精心设计的预测编码结构视点时间I0B3B2B3B1B3B2P0B3B2B3B1B3B2B1B4B3B4B2B4B3B1B4B3B4B2B4B3B3B3B4B4I0P0B1B1P0B3B2B3B1B3B2B3P0……………P0B3B2B3B1B3B2B1B4B3B4B2B4B3B3B4P0B1……P0B3B2B3B1B3B2B3P0……S0S1S2S3S4S5S6S7T0T1T2T3T4T5T6T7T8信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术精心设计的预测编码结构信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术精心设计的预测编码结构Ballroom3032343638100300500700900AvgerageRate[kb/s]AvgerageY-PSNR[dB]Simulcast(IBBP)Simulcast(HierarchicalB)MVCInter-viewPrediction信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术虚拟视点绘制技术▪DepthImageBasedRendering(DIBR)信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术虚拟视点绘制技术▪3DWarping技术信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术虚拟视点绘制技术▪启示：可以采用稀疏视点的彩色视频及其深度视频来实现FVV，由于深度视频为单色视频，因此，可以减小传输数据量信息科学与工程学院宁波大学NingboUniversity信息科学与工程学院宁波大学NingboUniversityLecture3多视点视频技术立体显示技术•真实的客观世界是立体（3D；三维）的，但记录的媒体如绘图或照相却是平面（2D；二维）。无论是从美学的角度，或是从实用的目的，突破平面的局限走入三维空间是人类永恒的一个梦想。艺术家和科学家均做了不懈的努力。•高清晰电视（HDTV）后的另一高潮必然会是立体高清电视虚拟现实。信息科学与工程