虚拟演播室技术的发展及关键技术的探讨

1虚拟演播室技术的发展及关键技术的探讨前言：当今，随着科学技术的不断发展，广播电视正在成为一种广泛的传播媒体和娱乐工具。广大电视观众对电视艺术效果的要求也越来越高，这就要求电视节目的制作手段也要越来越丰富。“色键”技术在电视节目制作领域的应用已经有很多年了，它的出现不仅丰富了电视节目的制作手段，而且实现了一些在此之前所不能实现的效果，例如：在电视剧《西游记》的拍摄过程中就曾经大量使用了色键技术，在当时给人有一种耳目一新的感觉，但是现在看起来就显得有些虚假，这主要因为传统的色键技术在实际使用过程中有其自身的局限性，例如：当拍摄色键前景画面（如主持人）的摄象机进行俯、仰、摇、移等操作时，色键的背景画面不随着前景画面作相应的变化，结果在观看最终合成画面时，前景和背景融合性差，就会给人一种主持人在背景上漂浮的感觉，缺乏真实感。为解决上述问题，日本广播公司（NHK）曾经开发了一套图像合成系统，它的基本原理是：用摄象机拍摄前景图像，并通过帧延时（因为背景的生成有延时）后，再用色键技术与经过数字处理的高清晰度背景图像合成，而背景图像的生成是受装在摄象机上的传感器所检测到的参数控制的。这样当摄象机进行变焦、俯仰、摇移等操作时，背景图像也会作相应的改变。通过这种色键合成技术产生的合成图像，就比传统色键产生的图像要生动、真实得多，我想这也许就是现在被炒得火热的“虚拟演播室”的雏形吧。随着当今计算机技术突飞猛进的发展，近年来发展起来的“虚拟现实技术”广泛应用于军事对抗训练、飞行模拟训练及娱乐业，而“虚拟现实技术”在电视节目制作领域的应用还是近几年的事。现今的节目制作技术已经不再满足于简单的二维色键技术，从而开发出了三维“虚拟演播室”系统，“虚拟演播室”系统的商品化进一步丰富了电视节目制作手段，同时也实现了更高的艺术创作效果。“虚拟演播室”的基本工作原理：用拍摄前景画面的摄象机的各种参数控制一台超级图形计算机生成虚拟背景，再通过Z轴深度键和色键技术将前景与3D背景进行色键合成。简单原理如图(一)。着色处理超级计算机摄象机跟踪器视频延时前景键控器背景键信号合成画面图一虚拟演播室简单原理2下面就这一当今热门技术——“虚拟演播室”的有关方面做些简单的探讨，也许会对想要了解这一技术的人有所帮助。主要分以下几方面：1．摄象机跟踪系统2．3D背景生成3．Z轴深度键4．3DK虚拟演播室系统5．虚拟演播室现状一．摄象机跟踪系统（定位测量系统）：“虚拟演播室”中的一项关键技术就是如何判断摄象机、主持人、计算机合成场景之间的相对位置关系，现在有许多摄象机定位系统可以应用于“虚拟演播室”系统，选择哪一种简单易用且价格合理的定位系统在“虚拟演播室”系统中是非常重要的。应用在“虚拟演播室”中的传感器都要用到三维空间传感器，并且这个传感器要能够实时地测出摄象机在六个方向上相对于某个物体的位置参数，其中包括X、Y、Z坐标的位置，以及围绕X、Y、Z轴旋转的参数（即摄象机的俯仰、左右摇、上下移动、前后移动、左右移动、Z轴旋转），同时还有镜头的变焦、聚焦、光圈共九个参数（现在一般可以做到七个参数）。对三维空间传感器的性能要求主要有：1．摄象机的定位精度2．传感器的分辨率3．位置修改速率4．延时定位精度是指该传感器所测出的摄象机的位置与实际位置的差异，而分辨率则指该传感器所能检测出的最小位置变化，这二者的概念不能混淆。位置修改速率是指该传感器在一秒钟内所能完成的测量次数。延时则包括两个方面：第一是指摄象机的动作与该传感器测出该动作的时间间隔。第二是指通过计算出来的数据来生成虚拟场景的时间差，这些延时将影响前景与虚拟场景的配合，另外如果延时太大还要考虑音、画同步问题，以决定在系统中是否采用音频延时。就目前在“虚拟演播室”系统中较为流行的跟踪技术，主要有两种方式：1．图形识别方式2．机械传感器方式所谓跟踪技术，就是指如何获取实际摄象机在演播室中的位置参数和动作参数。图形识别方式需要一个画有特殊网格的兰色背景幕布，将摄象机所拍摄的画面送到被称为DVP（数字视频处理器）的设备中进行处理，通过对所拍摄画面中网格的旋转和透视关系的计算，得出有关摄象机的动作参数，这些参数将用于控制虚拟背景的生成。机械传感器方式较为简单，它通过安装在摄象机云台及镜头上的传感器获取摄象机的动作参数。3图形识别技术的简单原理所谓“图形识别技术”实际就是一种“运动估测算法”（amotionestimationalgorithm）。这种算法可以对运动的画面进行精确的计算，以得到摄象机的运动参数，从而不需要机械传感器。这种算法与一个键控单元和一个兰色背景一起使用。这个兰色背景不象常规键控技术中使用的那种兰色背景，它必须包含足以判断摄象机如何运动的信息，而键信号只是表明前景（如：主持人）信号在背景中的相应位置，所以在做运动估测计算时可以忽略。一般情况下，背景图像的移动和比例的改变都是由于摄象机的推拉、摇移、沿光轴旋转及水平移动引起的，因此为了保证计算机生成的图像的移动可以和摄象机的任何运动相吻合，就要检测出前面提到的七个运动参数。尽管由于摄象机镜头所造成的所拍画面的偏差是微乎其微的但是也应该引起大家的注意。首先，由于光学镜头的缺陷，可以引起画面的几何失真。另外，由于光线通过镜头的边缘部分比通过它的中心部分到达CCD的距离要大，所以在画面的边缘部分图像会有轻微拉长的现象（因为人眼的视网膜是一个球面，所以人眼感觉不出来）。在使用广角镜头时，这两种缺陷就显得更为突出。由于物体的大小的改变是物体与摄象机之间距离的函数，而不是摄象机角度和焦距的函数，所以透视的影响将不会和运动估测计算相抵触。为了计算摄象机所拍画面的运动和比例的改变（即摄象机的各种操作），在背景幕布中必须要有充分的可识别的信息。在大多数用于后期制作的图像跟踪技术中，往往可以用一个简单的兰色背景幕布，以便通过视频信号中RGB三基色信号产生键信号。但是如果要从所拍画面中得到摄象机的运动信息，这种只用简单的兰色幕布的方法就显得无能为力了。因此我们就要在兰色幕布上画一些略淡的网格，但这些网格必须可以用色键产生（分离）出键信号，这个键信号将在“运动估测计算”前，从所拍画面中提取出来，以便用带有网格的背景信号进行计算，这样一来就可以避免画面中前景物体（如主持人）的运动而造成计算上的混乱。通过对画面中许多像素点的亮度信号进行计算，可以得出画面的移动和比例的变化，用这个测量值和运动参数建立一个联立方程。因为这种方法运算量相当大，所以建立一个关于像素子集的联立方程，而不是每一个像素都建立联立方程。同时应当尽量减小测量误差，改善计算的精确度和稳定性。为了减小计算误差，可以选择一个基准帧，计算过程中每个画面的计算是以此基准帧为基准进行计算的。同时为了达到实时处理，就要求计算机的图像处理能力要达到每秒50帧的处理速度。机械传感器方式简单原理：机械传感器跟踪方式是首先应用于虚拟演播室系统的一种跟踪方式，并且至今还在广泛应用，这种蹑踪方式原理很简单，它分为主动方式和被动方式两种。在主动方式中，伺服控制系统通过数据驱动摄象机工作，例如：对摄象机的遥控操作。在被动方式中，传感器对摄4象机的动作状态进行检测，得到相应数据并传送给图形计算机，进行3D场景的着色处理，这个传感器通常是一个光学编码器。在镜头和云台的活动部分都要安装上这种传感器，才能检测到摄象机的动作状态参数。机械传感器可以提供很高的精度，在角度测量上精度可以达到千分之一度，在距离上精度可以达到百分之一毫米。当摄象机推到最大画面时，大概有5度的视角范围，画面中每个像素所覆盖的范围不到0.01度，如果传感器有轻微的抖动背景画面就会移动几个像素，使背景画面抖动，这种抖动非常另人讨厌。这也是机械传感器方式应该避免的一个问题。目前市场上的跟踪系统：“UltimatteMemoryHead”是第一个有足够精度的用于虚拟演播室的跟踪系统，它是一个主动式跟踪系统，可以对摄象机的参数进行每帧4次的测量，测量的数据可以存到磁盘上或通过串行电缆与一台计算机相连，同时该系统还可以对来自另一台摄象机或计算机的跟踪数据作出反应。“InstitutNationalDe’Audiovisuel(INA)”是早期虚拟演播室系统，称为“HybridVision”。它是一台被动方式的跟踪系统，它在云台和镜头上分别安装了两个高分辨率的传感器，检测摄象机的俯仰、摇动、变焦和聚焦参数，然后用音频编解码器将跟踪数据转换成音频信号，并且和图像信号一起记录在视频磁带上。“ThomaSystem”是一个包括8个传感器的被动跟踪系统。它可以应用于摄象机基座和吊臂。“RadamecVirtualRealityEncorderHeah”它是主动式跟踪系统，有很高的测量精度，它的变焦和聚焦分辨率可以达到10,000个采样。“VintenTSMAutoCam”也是主动式跟踪系统，它可以达到0.01度的测量精度。“Milo”是一种可以沿轨道进行快速移动的主动式跟踪系统。它设计坚固且在任何方向上都活动自如。“OradHi-TechSystems’”此系统是目前唯一一种商品化的图形识别系统，它将摄象机拍摄的图像信号送入被称作数字视频处理器的设备中进行每秒30G的运算，得出摄象机的动作数据。两种跟踪方式的比较：无论是图形识别方式还是传感器方式都有其自身的优缺点。首先，图形识别方式可以给摄像师以最大的灵活性，因为用于拍摄的摄象机不受机械传感器的限制，这样就可以采用ENG摄象机，乃至肩扛摄象机，使得摄像员可在场景中自由地移动，这是这种方式的优势所在。它的不足之处在于：第一、由于采用图形识别，不可避免地要对所拍画面进行复杂的大数据量计算，这样就会造成较大的时间延时。第二、由于只有被摄取的画面中包含一定数量的网格时才能进行测量计算，所以使演员的活动范围受到一定的限制。第三、为了精确跟踪5计算，必须保持用于识别的背景网格始终清晰，这就使得摄象机的景深范围要受限制。第四、由于网格采用略浅的蓝色，所以要求有较高质量的色键。机械传感器方式可以弥补上述图形识别方式的四点不足，但是它的缺点在于：首先，由于使用机械传感器给摄像员使用肩扛摄象机带来不便。其次，摄象机位置必须固定，每换一个位置都要重新进行定位调整，这就使摄像员的拍摄自由度受到一定的限制。如果在拍摄过程中需要在水平方向或垂直方向移动摄象机，就要将摄象机安装在固定的滑轨上或摄象机吊臂上。另外，如果系统中需要增加一台摄象机的话，就要增加一套传感器。这三点都需要购置额外的设备，以达到自由拍摄的目的，需要更多的资金投入。另外一点，目前本人还没有见到机械传感器可以实现沿Z轴旋转拍摄的报道。因为两种跟踪技术都有其自身的优缺点，所以在现今较为流行的几个虚拟演播室生产厂家的系统中，在以某种方式为主的同时，都容入了另外一种跟踪方式，这就为用户提供了更大的选择余地。二、3D背景生成3D虚拟场景的制作在虚拟演播室中占有举足轻重的地位，它的创作和传统演播室布景的制作同样需要前期设计和创意，不过它的优点在于：可以随时从各种角度观察场景的整体效果，并且可以根据需要进行灵活的修改，另外可以节省一大笔景片运输费和储藏费，这也是人们愿意采用虚拟演播室的一个重要原因。用于生成3D虚拟场景的计算机软件，应包含下述两个模块：1.场景构筑模块2.动画模块其中场景构筑模块可以接受各种不同格式的3D物体模型，用户可以用现在较为流行的3D设计软件：3DMAX、SOFTIMAGE、ALLAS、FLAME、CAD等三维动画制作软件进行3D模型的建造。为了给三维场景布光，用户还可以在此模块中设置任意数量的不同形式的光源。同时软件可以准许用户对虚拟物体进行必要的修改，如：物体的旋转、大小、光的反射、透明度及材质等，并且通过实时着色处理可以实时查看修改后的效果。同时软件应具有良好的交互性和灵活的操作性。动画模块应该可以实时地完成虚拟场景的着色与实际摄象机动作的同步（即虚拟摄象机与实际摄象机的同步）。在完成3D物体的建模工作后，将模型文件装入虚拟系统中的图形处理计算机进行着色处理，它可分为下面两种方式：1.预着色处理：