石油云应用模式设计与实践

一、云计算的定义二、石油云落地的思考四、应用模式设计五、应用实践的效果三、现状与需求分析六、云计算的发展趋势系统具备扩展性和弹性，以即插即用的方式，灵活增加和减少资源提供一种或多种形式的计算或存储能力资源池，如物理服务器，虚拟服务器（虚拟机），事务和文件处理能力或任务进程（如并行计算），以及存储能力等资源池可通过抽象化方式提供，并同时为多种应用提供服务资源的自动化管理，实时监控和自动调度，以及使用量的监控和管理。将分布于多个物理地点的IT资源进行整合，提供统一的资源池，实现在各物理地点间的负载均衡由多个数据中心或多个系统组成的IT系统，系统规模可以扩大5.跨地域1.大规模2.平滑扩展3.资源共享4.动态分配能力提供层应用系统基础设施(IaaS)应用能力平台(PaaS)应用软件(SaaS)InfrastructureasaService--设施即服务--：云计算平台向用户提供物理或虚拟硬件资源，如主机/存储/网络等。用户：用户无需购买服务器、存储和网络设备，只需通过资源申请/租赁即可搭建应用系统PlatformasaService--平台即服务--：云计算平台通过API/SDK/编程接口等向用户开放可调配的计算能力和存储能力。用户：用户基于该应用能力，可以构建云计算PaaS类应用SoftwareasaService--软件即服务--：云计算平台向用户直接提供各种软件应用服务。用户：用户不必购买该软件或应用，只需按需使用/租用，通过网络（如，浏览器方式）来定购及使用软件。数据服务层一、云计算的定义二、石油云落地的思考四、应用模式设计五、应用实践的效果三、现状与需求分析六、云计算的发展趋势实现跨数据中心的业务数据备份、容灾和负载均衡构建跨地域的虚拟数据中心，在统一的软硬件平台基础上实现跨区域、跨业务的业务云打造分布式平台中间件，整合移动业务能力，逐步引入PaaS模式业务3.0将中低端Unix小型机应用架构替换为X86服务器，促进平台标准化构建基于X86的虚拟化资源池，小型数据业务逐渐向云计算资源池迁移，实现多业务系统的资源共享引入基于X86集群的分布式云存储，用于业务日志的存储和处理1.0构建以X86服务器集群为基础的系统架构，扩展系统处理能力构建数据中心，逐步整合原有多节点分散的业务系统引入基于X86集群的分布式对象存储，替代媒体内容存储系统2.0斯伦贝谢公司根据石油软件的运行特性提出了过渡性的解决方案：将不适于进行虚拟化的高性能计算和可视化功能独立出来，仍旧部署在物理平台上，作为拥有标准接口的模块集成到云计算架构中去，等到将来技术取得突破以后，再将这两部分功能模块部署到虚拟资源上，完成云计算的最终改造。出于这种思路提出以下系统架构：地质建模油藏模拟钻井设计生产管理开发方案生产优化地质分析盆地研究地球物理监视地质人员钻井工程师项目经理决策人员现场工程师地球物理工程师远程可视化服务器门户服务器•••••云计算平台数地震处理/解释地质综合研究生产动态分析开发规划油藏评价地震处理解释地质分析地质建模实现信息资源的透明化、集成化、可视化、自动化管理，建立企业统一共享的资源池。提供虚拟化基础设施服务，满足企业应用系统快速上线需求采用弹性计算模式，保证核心系统应用高峰期无性能问题、无存储空间问题，减少宕机风险，提高应用系统可靠性和用户满意率。企业信息基础设施（IaaS)的高效管理与利用，提高服务器资产和桌面资产的虚拟化应用，数据处理/计算等物理资源从潜在的云计算基础设施中分离出来；加大软件即服务（SaaS）开发应用。基于云计算的发展模式，改造和整合信息基础设施，围绕石油业务发展需求，建立统一管理、优化配置、自动调配的物理/虚拟资源池；高效利用大规模物理计算资源，建立勘探开发数据处理解释应用环境；采用虚拟化服务器技术，整合和迁移必要的应用系统，建立关键生产管理应用环境；为关键生产/管理岗位人员配置定制化的云桌面，建立云桌面支持环境，实现重要生产经营数据的后台集中存储管理，提高生产管理系统的安全性和工作效率。石油云是建立在企业内部的数据中心，利用云计算技术建立信息基础设施资源池，为用户提供和调配物理计算资源、虚拟应用和网络服务。一、云计算的定义二、石油云落地的思考四、应用模式设计五、应用实践的效果三、现状与需求分析六、云计算的发展趋势试点单位调研在相关试点进行调研，听取试点单位现状介绍，了解试点单位的业务需求。内部研讨举办油田云计算技术研讨会，邀请国内外知名IT厂商分别介绍了各自在云计算领域的最新产品、技术、解决方案及应用案例。国内调研参观考察了国内知名IT厂商的云计算实验室、云桌面应用现场，并且与中石油云计算可研项目组、中石油技术服务中心及中石油勘探院相关领导专家进行了汇报交流，编写了调研总结报告。问题由于企业各单位点多面广，硬件、软件和数据相对分散，信息系统的标准化程度、共享程度、面向业务的快速响应能力还有很大提升空间。机房数量多，部分机房档次低、隐患多服务器配置低，利用率低共享存储品牌多，容量小微机标准化程度低勘探开发专业研究系统软件、数据相对分散，系统资源不足,系统总体利用率不高勘探开发生产管理同类系统整合不够，功能重复多自建经营管理系统自建系统应用规模小，部署分散，占用大量硬件资源；生产保障系统部署分散，运维成本高服务网点多，运维人员多，低水平重复工作多开发人员少，高层次人才少，人员分散系统管理手段落后，自动化程度低管理规范不配套，执行差，无法支持配置标准化按中石油统一规划要求，机房数量将大幅度压缩建立系统、软件、数据集中部署和分布式应用的基础环境，支持跨项目组、跨专业的成果共享及协同工作。建立项目研究信息生命周期管理，快速产生项目数据环境，支持高效数据处理分析，实现研究过程和成果的规范归档和再利用。随着勘探开发难度加大，对计算能力、存储能力、软件配套提出了更高和更广泛的要求，需要在油田层面集中部署、统一调配和共享应用。研究院用户采油厂、服务公司、塔东、海塔用户地震资料处理地震资料解释数值模拟自主开发软件应用高性能计算资源池存储资源池三维地质模型数据资源池软件资源池地质建模生产管理系统并发用户数多，交互界面多，需要建立可动态扩展的运行环境，支持应用系统的高效运行；各单位生产管理数据库独立部署、应用系统功能重复多，需要建立统一的数据存储环境和应用开发环境，逐步实现同类系统的整合升级；生产操作人员桌面数量大，标准化程度低、维护工作量大，需要建立标准化、免维护的云桌面环境。\\\\\\…..\ERP….\\\\\\…..\\\\\\\\\门户系统实现在油田层面集中部署、共享应用，节约硬件配置成本，降低运维难度。自建管理信息系统数量多、用户数少，但占用大量硬件资源，需要通过虚拟化技术提高硬件利用率。机关管理人员工作移动性强，传统办公桌难于满足移动办公的要求，需要提供远程云桌面服务。共享存储冗余互备应用服务器池SQLServer数据库集群建立物理机和虚拟机组成的服务器资源池里，实现应用系统的集中部署，支持访问由多台物理服务器组成集群，部署数据库存储通过光纤直连建成共享存储池，提供冗余备份环境系统管理员建立支持系统集中部署、定量化管理、动态资源调度的IT运维服务系统。引进先进技术，整合试点单位部分软硬件资源，搭建虚拟化基础环境，建立云计算管理服务平台，为试点用户提供基础设施服务。结合企业实际情况，探索云计算中心的运维机制和管理模式。服务管理组合管理（集成化、可视化、自动化）软硬件资源可视化配置负载管理负载均衡冗余热备自动调度服务管理报表计费动态资源调配工作门户（流程化、透明化）系统环境或应用环境请求和使用资产、配置、健康度、负载监视高性能计算大容量存储环境专业应用远程可视化服务系统安全管理系统管理资源管理并行作业管理应用软件管理存储管理物理服务器虚拟服务器管理动态调度客户访问层瘦客户机台式机用户端用户管理员可视化中心软件资源应用统计系统资源应用统计计费方法统一用户管理、单点登录、权限控制、安全审计一、云计算的定义二、石油云落地的思考四、应用模式设计五、应用实践的效果三、现状与需求分析六、石油云的发展预测••••••统一服务管理层统一资源管理层•计算云(HPC)•应用云•可视化云•各种物理及虚拟资源•各种软件资源一、云计算的定义二、石油云落地的思考四、应用模式设计五、应用实践的效果三、现状与需求分析六、云计算的发展趋势在项目实施过程中，制定了项目设计和建设原则，开展了云计算技术和产品评测，建立了石油云应用实践的一个平台、三个应用场景，为今后的推广应用奠定了基础。设计原则：突出重点、突出效益、突出创新、突出应用建设原则：统一规划、应用驱动、分步实施、突出效益评测了数据库服务器、图形服务器及工作站等硬件产品；以及云计算管理平台，服务器虚拟化，远程三维可视化和云桌面等软件产品。建立了一个管理平台，三个应用场景：IT基础设施管理平台地学综合研究应用经营管理系统应用生产数据管理应用测试评价了云计算基础架构层、平台层、软件层及客户端的一些技术和产品。基础架构层利用虚拟化技术实现了部分应用系统的整合，测试了Wmware故障转移集群、虚拟存储、数据除重等技术设计了基于云模式的应用系统高可用基础架构，并在该架构上部署了部分管理信息系统平台层测试了惠普的CloudOS及微软的SystemCenter2012管理平台，实现了虚拟机的部署、复制和扩展，其中P2V实现了在线和离线两种迁移方式搭建了应用开发测试环境，迁移了一些门户应用到新的平台开发了基于云模式的油田信息应用系统评测与管理平台软件层基于DCV系统建立专业主流软件云部署环境，远程在Web界面上操控软件，实现三维解释功能利用VNC客户端进行云环境下高性能计算的测试，实现了负载均衡功能，并且在客户端或网络发生故障的情况下，不影响已经提交的集群作业的运行客户端测试了VMware、Citrix、微软云桌面功能制作了WindowsXP和Windows7标准桌面模板部署双狐软件并投入生产化应用为勘探事业部、财务部、A2数据录入人员建立了测试云桌面基于HP-DL580高性能四路服务器，图卡，以及DCV远程可视化软件和负载均衡软件建立地学综合研究协同工作环境，为勘探项目部技术人员、技术总师和勘探主管领导提供基于Web页面的三维地震解释、地质建模可视化服务，实现综合研究成果的远程可视化展示，为勘探部署和科学决策提供重要支持。建立了OpenWorks、Geoframe、Petrel共享应用环境建立了远程可视化工作环境VPN接入笔记本、iPad、智能手机数据中心接入网络互联网2-4Mbps本地瘦客户机、PC、工作站、笔记本本地局域网络100-1000Mbps数据中心客户端A分厂PC、笔记本B分厂PC企业内部网络10-100MbpsWEB登陆门户全局身份验证授权meta调度系统web登陆资源请求后台运维服务器统计报表系统CPU计算硬件全局共享存储CPU+GPU计算硬件4路硬件IT自动化运维工具资源分配返回471xDL380服务器–2-socketseachwith8-cores,64GBRAM–MoabWorkloadManager–NICEEnginFrame–HPCMU1xDL580服务器–8-socketseachwith10-cores,128GBRAM–OneQuadro6000GPUcardwith6GB–Torque–NiceDCV1xT610瘦客户机3XHPZ800工作站应用软件集成实例–Landmark，OW–GeoEast客户端：OS、可视化协议(DCV)客户端、WEB浏览器、定制化客户端软件（免费）惠普MOAB自服务门户套件企业版（按socket收费）惠普MOAB调度引擎企业版（按socket收费）资源管理系统（ResourceManager）HPLinux集群管理CMU(按节点收费)HP硬件管理软件iLo(按节点收费)第三方HPC作业调度软件（第三方）Tor