虚拟演播室技术及应用

虚拟演播室技术及应用徐成袁静人类已进入信息时代，而电视作为信息的创造、加工、传输的主要工具，近十年来发展迅猛，各电视台都试图占领本地区的电视传媒市场。由于上星频道增多，一般大、中城市观众通过有线电视网都能接收到数十套电视节目，因而仅仅依靠增加频道、增设栏目和扩大覆盖面等手段来提高收视率已远远不够。提高电视节目质量、降低电视节目制作成本将成为各电视台竞争的最大筹码。为电视制作提供无限想象和表现空间的虚拟演播室技术，适应这一需求，应运而生。一、从传统演播室到虚拟演播室在传统的电视节目制作中，为有一个美观多样的演播室布景，制作人员必须精心设计和搭建表演区和场景，需要耗费大量的人力、财力用在道具的购买、场景的布置和维护上，如价格昂贵又难以维护的大屏幕电视墙等，而且置成的场景无法即时更新和变换，如要改换只能重建，资源利用率低且工作周期长，即使如此，许多场景、舞台效果仍无法实现。色键制作技术是用摄像机拍摄均匀蓝色幕布之前的人物或道具（前景），然后通过色键设备把蓝背景抠掉，换成其它背景图像。显然，前景和背景只是简单地叠加在一起。为保证色键效果的真实性，要求拍摄前景的摄像机不能移动、变化，因为背景不能随之跟踪变换；当然也不能完成摄像机之间的切换，因为背景不能保持恰当的透视效果；如果背景是活动画面，即使保持拍摄前景的摄像机不变化，仍会产生主持人好象在背景上飘浮的感觉，缺乏真实感，可见色键制作技术是有很大局限性的。为了产生出逼真视觉的场景效果，用计算机场景工作站生成的三维图像代替简单的二维图像作为演播室的“虚拟”背景，并跟踪摄像机运动实时调整和“移动”该背景，使之与拍摄的主持人图像（前景）同步变换，实现三维场景的移动变换与真实摄像机相一致的模拟效果，这就是三维图形学、人工智能、模式识别与计算机图形图像处理相结合的虚拟演播室技术。一般虚拟演播室系统的组成框图如图1所示。摄像机拍摄的主持人在带识别标志的蓝屏前表演的视频图像一路送数字图像处理部分，实时获取运动摄像的内外参数，另一路送视频延时器，以保证前景与虚拟背景在合成时严格同步；其输出送数字色键器，从带识别标志的主持人图像中去掉识别标志和蓝背景部分，并给出描述前景与虚拟背景融合比例的键信号。三维虚拟场景制作、发生工作站既能根据节目需要制作虚拟场景，又能借助三维加速卡在摄像机运动参数控制下实现变换场景；视频源1送入虚拟场景发生器，显示在虚拟场景中的虚拟大屏幕电视墙上，视频源2送入多层图像合成器，可以制作出众多的特殊效果。从以上系统结构中可以看出，虚拟演播室主要包括三个部分：摄像机运动参数的获取和实时计算、实时色键计算、三维虚拟场景实时生成和输出。图1通用虚拟演播室系统结构框图二、以跟踪方式区分的虚拟演播室两大类别虚拟演播室中的一项关键技术是如何判断摄像机、主持人、计算机“虚拟”背景之间的相对位置关系，使之实现“同步”。实现“同步”的关键是连续跟踪获得摄像机的运动参数。这些参数包括镜头运动参数（变焦、聚焦、光圈）、机头运动参数（摇移、俯仰）及空间位置参数（地面位置X、Y和高度Z）等。目前，成熟的跟踪技术主要有图形识别（PatternRecognition）和以传感器为基础的跟踪系统（Sensor-basedCameraTrackingSystem）两种方式。同时这也是虚拟演播室两大类别的主要区别之处。图形识别方式需要一个画有特殊网格的蓝色背景幕布（见图2），它将摄像机所拍摄的画面送到数字视频处理器（DVP）中进行处理，通过对该画面中网格各具的不同特征和透视关系进行计算，得出有关摄像机的运动参数，机械传感器方式则是通过安装在摄像机云台及镜头上的传感器获得有关参数。两种方式各有其优缺点。图形识别方式的优点是对摄像机不加限制，也给予摄像师最大的自由度。缺点是要对所拍画面进行复杂的大量的数据计算，会造成较大的延时；由于只有当被摄画面包含一定数量的网格时才能进行测量计算，使主持人的活动范围受到一定的限制；为了精确跟踪计算，必须保持用于识别背景网格始终清晰，这使得摄像机景深范围受到限制，无法拍摄特写镜头；由于背景采用深浅两种蓝色，对灯光布置的要求比较严格，而且要使用较高质量的色键进行抠像。机械传感的方式可以弥补图形识别方式的不足，但其缺点是摄像机位置必须固定，每换一个位置都要重新进行定位调整，需要投入更多的资金购置额外的设备。为给用户提供更大的选择余地，在以某种跟踪方式为主的同时还融入了另外一种。三、两个典型的虚拟演播室系统虚拟演播室是一个具有高技术含量、高附加值和广阔市场前景的产品。据报道，自1991年日本广播公司（NHK）开发了一套图像合成系统以来，国外很多有实力的公司一直致力于这一技术的研究开发。但真正推出成熟产品还是1996年后，次年开始打入中国市场。目前可以了解到的已经商品化的虚拟演播室系统生产厂商13个，其中RT-SET和Orad两家公司在大陆的业务活动比较活跃，其产品也具有相当的代表性。RT-SET公司的Larus、lbis虚拟演播室系统以色列RT—SET（实时合成娱乐技术公司）的虚拟演播室技术处于世界领先地位，可为实况转播、后期制作和其它电视节目制作提供高质量、全集成的虚拟演播室系统。其Larus虚拟演播室系统框图如图3所示。其跟踪系统采用安装在基座上的精密光电旋转编码器和镜头上的特殊编码器实时获取摄像机位置和镜头视角参数，通过快速通信单元计算和传输至作为虚拟场景产生和实时变换的SGIOynx图形工作站上，由系统应用软件根据这些参数控制三维虚拟场景在节目拍摄期间实时地持续更新，并按照演播室摄像机的运动的位置，总是以正确的透视角度出现，其一个显著优点在于，摄像机运动，包括摇移、俯仰、快速变焦、3D运动和透视改变，不受限制；由一个计算机装置控制和管理无限量的摄像机，而在控制室里连续显示集成的摄像机视图。但该系统的价格昂贵，同时由于采用精密的机械—光学传感器，增加了系统维护和操作的复杂程度。Ibis是一种低价位、易于维护的虚拟演播室系统，图4为其系统结构示意图。此系统的虚拟背景不由3D建模工具产生，而是可以从任何标准的图形图像处理软件得到位图，最大尺寸为4096*4096象素，但位图仍跟随摄像机的运动而变化，满足正确的透视关系。由于没有复杂的三维图形处理，降低了对图形工作站计算速度的要求，从而降低了系统成本。ORAD公司的Cyberset虚拟演播室系统Orad公司的Cyberset虚拟演播室系统是目前全世界公认的最先进的系统，也是当前唯一基于图案识别的虚拟布景系统，它的工作流程与RT-SET系统相似，但独特之处在于采用该公司图案跟踪识别的专利技术，利用电视图像信号本身来实时计算析取摄像机移动参数，而不需要采用在摄像机上安装光学——机械传感器来测量摄像机和镜头的参数，因此可在直接使用原有的演播室摄像机和装置单元而不加装传感头的环境下，将在蓝幕前的主持人的实况电视图像信号与计算机产生的三维场景无缝集成，由于不需要以传感器为基础的系统中的摄像机安装方式、数据记忆头的设置、摄像机的自身控制以及相关的较正程序、预热时间或无效行程（空回）等问题，因此具有较高的稳定性和精确度，系统所需维护工作也较少。四、虚拟演播室概念外延很广功能可塑性很强虚拟演播室系统非但能把在蓝背景中的主持人与计算机生成的三维虚拟场景完善融合在一起，还可以用建模软件控制合适的贴图、灯光、模型等参数，给场景中的物体贴画，加光影和润色，使其更具真实感。在虚拟场景中，主持人可以来回走动，场景中的虚拟物体可以实时的移动和处理，电视窗口能显示外部视频源送来的视频信号。主持人不仅能在虚拟物体的前面或后面，并且能隐藏在物体的里面，主持人之间还可以进行异地对话。可见，虚拟演播室给制作人员更新、更广阔的创作空间，它很好的迎合了电视节目制作创新的需要。但其价格昂贵，国内只有少数有实力的电视台购买，如中央电视台、广东有线台、上海有线台、北京电视台等，对大多数电视台而言，只能是望而却步。导致虚拟演播室价格昂贵的主要原因是，使用了高档的图形生成硬件。此外为了实现摄像机运动跟踪，如果采用机械传感方式，则需要多个传感器；如果采用图形识别方式，则需要专用图像处理器，并会产生时间延迟，为解决之便需要延时器，所有这些都会造成系统成本的上升。然而，在现有节目，尤其是新闻串联、访谈等节目的制作中，极少使用镜头摇移、俯仰、变焦等操作。在此应用场合，虚拟演播室中那些花费昂贵代价而得到的功能几乎没有用武之地。国内一些技术实力雄厚的计算机集团、数字视频产品公司开发了虚拟布景系统，以镜头切换代替镜头的实时跟踪，这就无需实时生成背景，而可以采用高质量的绘制算法，大大降低了成本。这样的虚拟布景系统，能提供一套完整的视频制作方案，可实现从三维虚拟布景的建造、材质的选择、灯光和摄像机位的设置、背景图像的渲染，到色键抠像、视频合成与输出。虚拟布景用途很多，对小型演播室应特别有吸引力。虚拟演播室技术无疑是电视节目制作技术的一种革命性飞跃，充分体现了电视技术对当代最新的数字技术、计算机技术兼容并蓄的特点，作为电视技术人员应该了解、关注和跟踪这一新技术的发展。