HP动漫渲染平台解决方案

在发达的欧美国家，动漫产业不仅重要，而且是支柱性产业之一，年市场的总量都在数百亿乃至数千亿美元之上。在中国至少每年具有1000亿市场的开发价值，对促进整个国家经济发展具有重要作用。可以预见，未来2-5年内，中国动漫市场将达到一个空前的繁荣程度。HP公司长期致力于高性能计算机系统的开发和研究，并制造了一系列高性能计算机系统；运算能力从每秒几百亿次到几十万亿次。这些高性能计算机系统在高性能计算领域发挥了不可替代的作用。作为全球领先的高科技公司，HP一直在领导着发展潮流，并以31.5%的市场份额已经成为全球高性能计算市场的领导者。在3D动画制作领域,HP与著名的动画设计制作公司—梦工厂有长期的合作，提供了《怪物史莱克》、《马达加斯加》等动画影片的设备供应和技术支持。在《马达加斯加》的制作中使用了超过1000台HP渲染服务器。加拿大Alias软件公司的MAYA3D软件也在《马达加斯加》的制作中起到关键的作用，Alias公司已经和HP、梦工厂达成良好的战略联盟，在硬件和软件上密切合作。为什么需要采用渲染集群由于动画制作是一项复杂又繁琐的工作，对服务器有独特的要求。随着人们对视觉欣赏的要求越来越高，为了使动画作品更加完美逼真，在完成模型设计和动作设定后，需要对每帧画面进行渲染(渲染是在计算机内建立的三维几何模型上附加一定的材质、纹理及色彩，并加上光源，通过计算机的计算生成具有真实感效果的场景图形)，以便进行实际效果的审查，在最终作品完成时，要进行最终的动画场景生成。然而，这部分计算往往非常耗时，计算机的单机性能在处理复杂的三维图形时显得力不从心，在单一工作HP动漫渲染平台解决方案站上渲染一个复杂的单面镜头可能要占用几天的时间。在动画生产中这种结果的滞后性影响到制作人员的创意以及思维的连贯，对作品质量有很大影响，同时这种延时也成为制作周期中难以回避的一个环节。虽然我们可以通过将多台工作站联网渲染的方式略微提高这一过程的效率，但所有参与的机器将丧失其继续创作的能力，有时候这种方案是不划算的，我们需要的是一个专门负责渲染的高性能计算设备。当前主要是采用大规模集群计算机并行渲染的方法来提高渲染效率。也就是通常所说的渲染集群（或叫渲染农场）。Renderfarm（渲染农场）其实是一种通俗的叫法，实际上我们应该叫他“分布式并行集群计算系统”，这是一种利用现成的CPU、以太网和操作系统构建的超级计算机，它使用主流的商业计算机硬件设备达到或接近超级计算机的计算能力。Renderfarm（渲染农场）是一个高性能、高可靠、低成本的解决方随着数字娱乐对人们生活产生的深远影响，动漫作品也越来越受到人们的喜爱，动漫产业在近几年的蓬勃发展，得到了我们国家和各级政府的高度重视。案，支持三维及合成软件的网络渲染。经过测试的软件有3dsmax、Combustion、Maya、Softimage、Shake、AfterEffects，以及基于Linux的多线程计算密集型应用等。渲染集群的架构渲染集群从架构分为三个层面：Renderfarm硬件即渲染计算服务器、渲染管理服务器、连接交换机、存储设备；•渲染计算服务器可以采用机架服务器或刀片服务器；•网络交换机包括10/100/100以太网交换机，存储光纤交换机；•存储设备包括大容量磁盘阵列存储设备，磁带库Renderfarm的管理平台软件即渲染任务分发软件，用于处理渲染任务的调度分配等管理工作。•PipeLinefx公司的Qube•VirtualVertex公司的MusterRender应用软件即3D动画软件，渲染软件，执行真正的渲染任务。这类软件包括：Maya、SOFTIMAGE|XSI、3dsMax、Nuke、Alias|WavefrontMaya4.0,4.5,5.0and6.0,Softimage|3D,Softimage|XSI,NewtekLightwave,3DStudioMax6.0,AppleShake,AdobeAfterEffects6.0,MentalRayforMayaorStandalone.实际应用中常常配合使用多种渲染软件工作。HP渲染集群解决方案渲染集群可以看作高性能运算集群的一个应用。高性能计算应用是属于CPU和内存密集型的应用,它对所运行的计算机体系结构(超级计算机体系结构)提出了几个主要的要求:浮点计算能力(尤其是64位双精度浮点运算),多CPU的并行运算能力（加速性能），内存带宽和内存容量及体系框架，服务器间高速互联能力。这些指标都是相互联系的，并于集群应用紧密相关。例如，在渲染动画场景中，各服务器独立的完成一部分场景的渲染，或者各服务器独立完成一帧图象的渲染。之后在合成一副完整的场景或图象序列。因此，服务器间通信的需求就没有科学计算集群中对大带宽、低延迟互联的需求紧迫。对动画的处理速度比较依赖服务器的CPU处理能力和数量。在服务器内部，较高的CPU浮点运算能力和I/O吞吐率对渲染性能具有显著的效果。在集群的运行平台选择上，早期的高性能集群平台多使用专用的UNIX平台。Linux系统由于具有Unix的相似性，基于CLI接口减少了很多GUI的开销，效率更高。随着Linux发展的越来越成熟、稳定，，现在大部分的HPC集群系统都使用Linux平台。由于Windows系统在X86平台的广泛使用和支持众多软件，渲染集群也使用windows平台。HP能够在市场中为客户提供根据客户的需求定制的系统，并且具有最小的总体拥有成本，包括最小化硬件成本，HP的集群系统是可以经过预先集成和客户定制的。HP还为复杂的HPTC解决方案在解决体系结构、应用移植、开发和优化系统管理以及系统软件的开发等方面提供了非常大合作空间。渲染平台是提供动漫创作、生产的基础平台。对集群系统要求能满足类型广泛的应用程序。需要满足对处理器和内存需求方面的较高要求。因此配置64bitCPU处理器，CPU内存按照1:2的比例配置，以提供广泛的系统宽容度。使整个系统处于比较领先的起点。根据渲染平台的典型需求，在同样的投资情况下选择的系统必然要求追求最高的性能，并且能够满足各公司应用，还有具有良好的扩展性，HP公司设计此高性能计算方案的指导思想是：1.最新的符合工业标准的高性能的计算节点机；2.使用先进的适合数据中心的架构，提供高效的空间、电源利用效率，和最大扩展性。3.以尽可能满足所有类型的应用为出发点，综合考虑性价比因素。4.采用业界开放式的Linux操作系统平台，解决软件投入成本高的问题；兼顾友好的人机界面，保证人员操作简便。5.系统的架构和主要部分（处理器和操作系统）采用在业界未来发展战略中，处于主导地位的技术，以保证用户的长期投资保护。根据以上原则,惠普建议建立一个具有如下特点的高性能计算环境：一个由多台高性能SMP计算节点和管理节点组成的高性能渲染集群，用于运行大量渲染任务；基于管理维护的方便和良好的性能，采用基于2颗64位处理器的HPc-CLASS刀片服务器构成集群系统。根据处理器数目按1:2的比例配置内存。每个计算和管理节点内部系统和文件系统配置高速SAS硬盘,外部存储采用SAN光纤存储架构，保留足够的扩展容量。•计算节点间采用应用广泛的千兆以太网络，提供良好的性价比。并提供更高带宽、低延迟网络互联的扩展能力，满足今后性能和规模的经一步提升。•系统采用开放通用的Linux操作系统，管理服务器使用windows平台，提供良好的系统用户管理界面。在动画生成应用中（这方面最早和最有名的例子是电影《泰坦尼克号》的特效生成，它使用了一个包含160个节点的Linux集群系统），需要将场景生成任务分发到上百个计算节点上，其中每个节点负责生成最终场景中一个单独的部分。共享的场景和人物信息，以及每一帧的渲染指令必须能够为每一个参与计算的节点所访问，而每个节点计算一帧会产生大约50MB的输出。最后各个单独的帧依次组合，得到完整的一幅画面。所以制作一部80分钟的电影，会生成7TB以上的存储数据。在渲染集群的使用中，存储设备通常通过一台文件服务器提供访问。这样可以提供SAN与NAS的融合，既具有SAN架构存储系统的高性能和扩展性，也可以提供用户友好的使用方式。如果集群系统规模很大，还可以使用多个文件服务器配合SAN存储阵列提供高带宽的I/O吞吐率。整体架构的逻辑示意图如下：图表1渲染集群逻辑架构整个集群架构采用HP最新的c-CLASS刀片服务器架构，提供业界先进的服务器体系架构，可以在较小的空间、较低的耗电量等环境下，完成传统由大型机完成的工作。在c-CLASS刀片架构下，提供了丰富的扩展接口，在系统扩展时可以方便的增加交换模块，无需重新布线和复杂的设备调整。该架构并具有非常优秀的系统扩展特性，可以方便的在刀片机箱中增减服务器数量和交换模块，包括不同的服务器类型和交换机（LAN/SAN/IfiniBand），扩展集群的规模。当HP发布更高性能的刀片服务器（视CPU发展情况），可以在原有架构内扩展计算节点、或更换计算节点，从而有效的保护投资。整个集群运行Linux操作系统，通过千兆以太网作为互联网络。保留高速互联网络扩展接口。当需要更高性能、更低延迟的互联通信时，可以将千兆以太网升级到InfiniBand网络。提供投资保护和强大的升级潜力。成功案例列表与案例分析上海文广传媒集团动漫渲染集群上海市多媒体公共服务平台沈阳动漫公共技术平台梦工厂电影公司梦工厂(DreamWorks)电影公司使用HP集群服务器制作了包括《怪物史瑞克》等大量动画电影。梦工厂出品的《怪物史莱克》，这部片子在全球取得了非凡的成功，并最终赢得了奥斯卡首届最佳动画电影大奖；但是，没有HP的合作加入，这种成功是难以想象的。当初，梦工厂在制作《怪物史莱克》时，他们给电影发行制定了一个非常有挑战性的时间，因为他们拥有很好的动画软件。但问题是，他们的工作站运行得不够快。于是，他们要求HP为他们建立一个强大的工作站。当时，HP已经在测试一种工作站，它也许可以运行梦工厂的动画软件，而梦工厂只给了短短的7天，要求HP在这7天内，使工作站的性能达到比他们以前的系统强四倍。后来的结果，正如人们所知，有了HP的高性能工作站，梦工厂的动画师们如鱼得水，他们的协同工作变得更为简便有效，既有效地控制预算，又大大缩短了画面生成的时间。最终，《怪物史莱克》如期与观众见面了，并且捧回了一座奥斯卡奖杯--最佳动画片。《史瑞克》梦工厂的强劲计算能力得益于HP基于Linux的工作站与HPProLiant刀片服务器，这些优秀的HPLinux平台加速了那些关键计算机动画原素的发布，如烟雾、特技、流动效果、服装与质地。在此之后，梦工厂出品的《小马精灵》成为第一部全Linux制作的动画电影。现在，梦工厂所使用的工作站的性能提高了四十倍，并且相比他们以前的设备，只花了更少的钱。通过双方的通力协作，HPLinux为梦工厂提供了艺术级的技术解决方案。利用这些方案，梦工厂赋予动画形象与角色更多灵活性与表现力。在2003年年秋天上映的动画电影《史瑞克2》、《鲨鱼的故事》、《Madagascar》，以及NBC电脑动画电视连续剧《Pride的父亲》中，人们首次看到这些技术带来的创新。在与梦工厂紧密的合作中，HP特别开发了致力于解决创作数字动画时实与成本问题的HPUtilityRendering服务（URS）。URS提供了一个简单、灵活，并可扩展的解决方案，以管理用于绘制高质量电影动画所需的巨大计算量。同时，通过与HP的紧密合作，梦工厂开发了VirtualStudioCollaboration（VSC）项目，用于将地理位置分散的工作小组连接在一起。此外，VSC还提供了超前的协作能力。URS与VSC的联合使用，可以使梦工厂能够更快地提升产品的竞争力，同时充分利用不同区域的艺术天才。这一切，都基于HPLinux平台之上。梦工厂联合创始人JeffreyKatzenberg表示：通过与HP合作并采用Linux平台，我们正在改变在动画中可能改变的一切。与HP一起，我们正在积极清除那些技术屏障，并达到了更好的效果。HP使我们认识到我们所具有的竞