搜索
虚拟交互式光线追踪电视演播室的应用安德烈亚斯Pomi和菲利普Slusallek计算机图形学实验室萨尔州大学，进出口Stadtwald36.1个D-66123Saarbrücken，德国，电子邮件：{apomi，slusallek}@graphics.cs.uni-sb.de，万维网：金塔：NbN纳米：德:0009-6-2480摘要在过去的几年，著名的光线追踪算法获得了新的流行射线追踪方法的引进与互动。高模块化和能力生产高度逼真的图像使光线追踪一个有吸引力的替代光栅图形硬件。交互式光线追踪渲染现实也证明了其潜力的领域中混合，并提供真实的虚拟内容和方法新颖的无缝集成。演员插入方法，一个子域混合和现实密切相关的虚拟电视演播室技术，能利用光线追踪率在互动框架为实现这样的阴影和反射高品质的输出配合适当的视觉线索。在本文中，我们展示了交互光线追踪技术可以应用的新途径提供工作室执行未来虚拟。关键词：混合现实，渲染，交互式光线追踪，OpenRT，流式视频素材，在着色渲染，演员插入，3D合成，视频广告牌，基于图像的视觉外型，虚拟电视演播室主题：射线追踪，计算机图形学，混合现实，真实的电脑绘图1。简介新的方法，以经典的光线跟踪算法使我们能够实现互动帧速率[Wal04，WPS03]。交互式光线跟踪提供互动应用的新途径得到落实，质量和渲染得到任何好处喜欢的模块化。在应用领域，如混合现实交互（MR）的渲染，光线跟踪可以是[替代传统的方法PS04]。对于结果令人信服的渲染应用虚拟电视演播室，一个合适的渲染方法是必要的。它应该提供的可能性，很容易地提高了视觉线索综合现场。视觉线索，反映了人工视觉场景与演员互动的现实，可以由阴影，反射和遮挡效果。交互式光线追踪非常适合这一要求。其模块化允许一个完全独立的视觉效果和实施的对象表示。GPU（图形处理单元）的方法往往缺乏这种模块化和限制患有相结合的方法时，呈现（如硬件支持的三维重建方法的思考和铸造一个演员结合了阴影）是必要的。光线跟踪也促进合成）的结合过程中的演员与虚拟场景（。阴影的可能性无限制的需求与概念驱动的射线追踪组合允许实施合成新途径。着色器概念中，从合成动作合成后处理计算直接进入阴影，从而使演员和场景之间的互动最亲密的视觉。在本论文的其余部分，我们给出一个互动概述国家最先进的在-，分布在光线追踪渲染先生的领域。演播室应用虚拟的优势为用射线跟踪，指出了和射线追踪的方法（视频广告牌和着色渲染三维重建基于视觉船体）的演员到虚拟场景的无缝插入描述。图1。一个典型的设置，纹理视频流OpenRT一个具有交互光线追踪系统。视频纹理流的客户端服务器群集通过多播网络视频内容的呈现。该OpenRT应用服务器上运行的渲染，纹理同步完成，并提供视频输出。2。交互式光线追踪有几种方法射线追踪互动：软件射线追踪方法加速了新算法由[30以上因素Wal04]在一个单一的CPU。线性并行射线跟踪轻松共享内存机以及基于PC集群。系统的OpenRT[WD03]是一个框架的例子这种交互式光线追踪。另一种方法是使用）可编程现代光栅图形芯片（GPU的。但是，这种方法是受制于有限的编程模型[PBMH02]。提供一个更好的选择是由一个图形硬件[建筑设计来完成，特别是光SaarCOR追踪，如SWS02，WSS05]体系。软件提供了基于射线追踪[渲染技术的数字比传统的优势，GPU的MH99]。高度模块化的射线追踪的渲染相结合的方式允许在一个非常直接的影响。资源冲突和经验的局限性与GPU不发生。由于遮阳是软件执行中，任意复杂的着色算法（如全局照明方法[BWS03]）都可以使用。该模块还允许使用（如[声明以外的其他表面几何形状像三角形样条BWS04]）或如[体积申述（MFK04]）。在图像的视觉呈现船体着色下面是一个代表性的例子为一个非三角形数据。光线跟踪输出敏感，即计算能力是必要的渲染输出帧的内容，主要取决于框架。昂贵的阴影计算只需要计算的一个场景中可见部分。因此，光线跟踪需求驱动的算法。另一种利用射线追踪优势是它能够处理更复杂的模型可能比一些方法与光栅图形。相较于线性GPU的方法，光线追踪三角形[尺度的对数的数量Gla95，Hav00]。109三角形非常详细的车型多，甚至可以提供软阴影[DWS04]。2.1。该OpenRT框架由于PC电源的典型应用，往往不足够高的性能，必须要结合多个主机的处理能力。OpenRT[DWBS03，WD03]提供了一个跟踪框架的分布式交互式光线。该OpenRT图书馆的特点是界面非常相似，OpenGL和隐藏网络方面，从应用程序的分布和。应用程序主机与渲染称为OpenRT服务器。一个客户数量呈现（一组）提供必要的计算能力。除了应用程序API，OpenRT还具有和照相机着色着色器编程的API表面光源。在[PMWS03]中，我们引入了两个扩展OpenRT支持混合现实交互渲染方法。流媒体视频纹理着色工艺允许使用的实况录像。由于遮阳是客户端上执行时，视频内容是由专门的纹理流服务器（见图1）。多播网络[Ste98]和可扩展性的主机同步机制确保在人数。图2显示了如何在虚拟场景可以增强视频直播。图2。流媒体视频纹理用于设置屏幕电视。视频内容也可用于照明的房间动态。第二个扩展是一个增强现实的看法合成方法[PS04]。在这里，一个实时视频传输到后台渲染客户和[包括进入渲染过程（着色合成，Pom05]）。这使得渲染方法易于实施的差别[Deb98线索]实现有说服力的视觉效果。这两个扩展的插件来实现为OpenRT没有系统变化的核心。2.2。交互式光线跟踪的虚拟演播室的应用交互式光线追踪可以提供一个工作室的申请数目较传统GPU的虚拟优势为基础的渲染。高品质的视觉可以用来插入人士提供视觉线索的位置。灯光效果，可用于实物演员投上阴影和反射的虚拟。可实时视频显示列入实施虚拟视频场景。也有一些优势技术：光线跟踪渲染本身支持视频领域，即计算能力是完全必要的[相同的每秒25帧的渲染或隔行扫描场50Poy03]。该软件帧缓冲示踪光线可以方便地连接到专业视频帧缓冲板支持）输出的要求视频（SDI的视频工作室的基础设施，如视频同步和数字化。光线跟踪也支持Shader）轻松实现任意摄像机OpenRT模型（例如，通过摄像头。这使得相机匹配的虚拟演播室摄像机可能易行。场相机的效果，如景深可以正确渲染，不需要近似[WGDD98]。图3。一个OpenRT视频广告牌的申请。在一个绿屏视频图像的前一个人的质地作为视频流。现场描述包含两个长方形广告牌广告牌着色与相关视频。色度键控着色演出，。由此产生的视频输出显示了两个人到现场插入。灯光效果和思考提供必要的视觉线索。2.3。着色器概念中，合成在图像技术或视频流）合并成一个单一的两幅图像（被称为合成[Bri99，Kel00]。传统的合成方法是基于正式二维[图像合成代数介绍了波特和达夫PD84]过程中实施，并作为一个后。在合成过程由辅助信息例如，对于一个alpha通道或深入的信息。传统的视频合成为虚拟演播室系统的目的将因此包括从演播室现场视频输入，显示色度键控演员在前面的一个背景，可用于生成如辅助信息。第二个图像是由一个渲染器，并在二维后处理的硬件合成两种特殊的图像执行（视频键控器[Poy03]）。在[概念中合成着色Pom05]提供了一种替代传统的方法：在合成过程中直接执行里面的阴影。在这里，全三维信息仍然是可用（例如闭塞/深度，表面法线等）。没有必要进行额外的辅助信息到后处理。这非常适合跟踪框架要求的光线。作为副产品，在合成上执行的需求，因为光线追踪是需求驱动的。插入部分演员在下列方法可以看作是合成应用在着色。3。插入的演员问题虚拟演播室的基本渲染问题可以称为演员插入的问题：一矿多的人（演员）的情景放置到一个虚拟的。这是一种人工合成的部分特殊案件的问题和一般合成相结合的虚拟。对于一个令人信服的结果，它需要提供虚拟元件和合成的感觉之间的相互作用。复合图像不接受观众的互动，如果它缺乏视觉线索。例如可以将这些线索阴影，由演员演员在虚拟场景或地板光泽，呈现出光泽反射的人。此外闭塞的场景部分（深度演员）扮演重要的角色，尤其是当走动。这些影响很难实现与传统方法。技巧，如产生工作室）的影响，在现实世界（地板光亮如使用一键的和运用先进的硬件提取与演员一起，是非常有限的。影子想想'失真的演员时，它是对象投射到一个复杂的合成。对于特殊情况下，使用辅助摄像机可以提供一个[解决这个问题WGO00]。阿射线跟踪框架中使用着色方法合成的问题提供了一种替代解决方案插入到演员。在着色合成允许高现场视觉和演员之间的互动。在下面的章节中，我们讨论两个着色合成插入方法，可以用于演员。3.1。视频广告牌一个简单的方法，包括现场的演员变成一个虚拟广告牌是提供演员使用的图像。该广告牌的概念是人所共知的，从电脑游戏[MH99]。它具有一个平面（二维）矩形垂直轴的观点，一个是形象与质感。该图像包含透明部分，例如，当它显示一个人，外面的部分剪影是透明的。广告牌可以很容易地扩展为视频应用使用上面描述的流媒体视频纹理。图3显示了一个视频广告牌系统OpenRT实施。演员们是在摄影棚拍前面的一绿屏英寸该相机输出作为一个视频纹理流。长方形的广告牌着色与执行相关的视频纹理查找在矩形的纹理坐标指定的位置。色度键控[Bri99，SB96]标准是用来背景像素纹理分割成前景和内容。在像素案件一前景，纹理的颜色将被返回。对于一个（绿色）的背景像素，透明光线是进一步追查到背景场景犹如广告牌就不会存在。我们的广告牌着色器使用一个简单的原则，色度组件方法键控[启发vdBL99]。图4。使用视频渲染效果广告牌着色。如果没有视觉线索和反思像影子，演员似乎浮动（左上）。较低的图像显示领域的演员折射率玻璃后面走。折射是正确的，身体难以实现基于GPU的方法。视频广告牌着色器计算的每一个人的光芒。此作品不仅为小学光线也为任意二级或反射光线的光一样的影子。在渲染效果图所示3从而不再需要额外的渲染通道。除了正常的阴影电话，OpenRT材质支持第二个功能，可以加快计算下降了不必要的阴影处理阴影的光芒。前景色可调控入射光在阴影的过程。这使得如实施聚光灯效果：边境锥光部分的演员在获得较深。这些影像图上排4说明了影响的重要性被渲染产生的视觉线索。图中的图像底部排在第4显示玻璃球折射效果时发生演员走在后面。这些影响是难以实现时，广告牌的做法是硬件上使用光栅图形。大小和现场位置的广告牌中的矩形确定可用的演出区。自动布局可以通过使用辅助摄像机意见（见如[GPT00]）。视频广告牌有一个自然数的缺点，由于其二维，比如一个演员的镜子后面会显示前方看法，因为背后有没有资料显示，从如何看演员。也有是没有深度资料和矩形限制了广告牌演出区。对于某些照明角度的广告牌从阴影变得过小或消失[Pom05]。这些问题建议使用平面广告牌，而不是一个真正的三维方法。图5。插图的视觉船体重建算法。鉴于两个演员锥相交的预计和（第一行）。在添加了第三种观点，路口已经紧紧地接近演员（下中）。右下框着色的图像显示了与视觉相关的船体。请注意，反射）视觉线索（阴影和自动出现。3.2。3D方法吸引人的广告牌的做法是由它的简单，但如何才能扩展到三维？解决的办法似乎很简单：平面矩形扩展到（3D）的框，并提供超过一个演员的看法。框与关联的着色器必须实现的三维重建算法。重建方法三维许多方法已经公布在过去几年中（见调查，例如：[SCMS01]。大多数方法的使用形状从-剪影。我们选择了修改后的图像为基础的视觉外型重建算法[MBR00着色]我们的三维重建。船体重建的视觉原理可描述为演员的相交的圆锥投影的轮廓。视图摄影机必须重投影校准适当。锥体的交集称为视觉外型[Lau94演员]的，是密切近似的真实形状，从不同的方向，只要使用足够的意见。图5说明了十字路口的过程。射线相交的框被投影到二维图像和光栅化视图使用直线绘制算法。因此该方法被称为图像为基础的。所有操作都在二维，从而加快了计算。该方法也适合视觉外型的需要，因为光线追踪可以评估