云计算中服务资源调度与管理

云计算——服务资源调度与管理北京科技大学曾明2019年10月17日目录IDC发展面临的挑战云计算解决方案调度与管理总结•服务资源整合•服务资源调度•资源分配策略•服务资源管理1.IT成本高，机房设备利用率低2.数据中心体系很复杂，系统的维护和管理难度大3.资源占用多，缺乏统一化，配置峰值资源需求等于浪费资源4.系统稳定性、可靠性低。人工服务为主，高成本、低满意度5.IT传统模式不能适应业务部署速度的需求（至少2个月）SupplyandDemandNotAligned地理上分布的用户根据应用静态分配IT资源WebeCommerceIntranetERPCRMBIDev/QAEmailIDC发展面临的挑战目录IDC发展面临的挑战云计算解决方案调度与管理总结•服务资源整合•服务资源调度•资源分配策略•服务资源管理云计算体系架构服务调度和管理引擎云计算平台VM中间构建IAAS调度分配引擎资源池IAAS服务管理SAASPAAS服务系统IAAS服务平台服务应用系统云计算门户IDC服务管理服务器管理服务器用户在线服务存储离线计算云计算节点在线服务器VMware,KVM,XEN支撑平台体系架构资源整合资源分配调度引擎用户自服务对应用系统的支持Hadoop,Websphere,客户化的应用……云平台计算资源虚拟化系统/物理机操作系统运营管理工作流&审批流程报表&计费云管理方案端到端的云管理软件：根据负载均衡和资源均衡的策略，从共享的物理和虚拟资源中为上层的应用系统创建和提供运行环境TicketingSystemCRMEntitlementSystemAuthentication&Security•整合了云资源•通过丰富的策略匹配和供给资源•提供了最终用户直接请求资源的自助服务平台•时刻跟踪资源的使用情况，以生成报告、帐单和审核计算资源计算资源OracleDBSMPOracleDB3.分布式计算方案2.同步方案1.话单分布4.话单合并示例：BOSS云的架构目录IDC发展面临的挑战云计算解决方案调度与管理总结•服务资源整合•服务资源调度•资源分配策略•服务资源管理Manual资源分配引擎资源预约和按需分配的调度策略基于资源使用情况的分配策略资源使用规划服务的交付提供服务服务合同管理自助的服务门户和开发接口(API)统计分析报表计费系统资源管理工具资源整合虚拟化系统管理插件物理机部署工具的插件系统管理插件不同类型的应用程序集成HPCJ2EEothersTest/Dev根据系统当前负载、系统资源的使用情况，有序地运行应用程序。整合物理机和虚拟机计算环境，创建一个共享的计算架构。服务资源整合DEMANDSUPPLYHPCClustersLSF,Symphony,3rdPartyTest&DevJ2EE/AnalyticsSiloSiloSiloResource-awareWorkload-awareSupplyandDemandAligned在不同的应用部门共享物理资源服务资源整合虚拟资源池安全和集成数据保护资源管理可用性系统架构服务服务资源整合服务资源整合目录IDC发展面临的挑战云计算解决方案调度与管理总结•服务资源整合•服务资源调度•资源分配策略•服务资源管理调度引擎3)NetworkAccessCostMatrix(AvailableBandwidth/DynamicUtilization)DC1DC2DC3DC1DC2DC3Rack1Rack2Rack3R2R2R3Output:-InitialPlacement-Run-TimeManagement-Defragmentations&MigrationOffering1300Offering2200Offering3400JanDecContract#123Contract#444Contract#677Contract#677Contract#888Contract#888#999Contract#78934Contract#768689Contract#55Contract#8892)ResourceHierarchyDCRackGroupRackGroupRackGroupRackRackRackRackRackRackDC/1)ApplicationTopologyDBAppServerAppServerAppServerWebServerWebServerTier1Tier2Tier34)Previousreservationscommitted&AccountQuotas5)C-languageplug-inplacementpolicy:•vem_policy_init()•vem_policy_fin()•vem_policy_distribute()•vem_policy_place()•vem_policy_housekeep()•vem_policy_status()•vem_policy_info()服务资源调度资源分配之前资源分配之后服务资源调度目录IDC发展面临的挑战云计算解决方案云计算核心技术总结•服务资源整合•服务资源调度•资源分配策略•服务资源管理Packing（填满）•应用程序在尽量少的物理服务器上运行•每个被使用的服务器利用率最大化，减少资源碎片，减少能源消耗。Striping（分散）•应用程序分散在尽可能多的物理服务器上运行•减少机器故障带来的影响，提高应用程序的运行效率Load-Aware（基于负载）•新的应用程序总是运行在负载最轻的物理服务器上•获得更高的应用程序运行效率HA-Aware（基于高可靠性配置）•将支持高可靠性（HA）的服务器资源分配给关键业务•提供更高的资源可用性Energy-Aware（节能）•根据节能指数和数据中心热点运行应用程序•减少能源消耗Affinity-Aware（基于关联程度）•将任务分配到与关键资源关联度最高的服务器上，例如将任务分配到与存储系统直连的服务器上•保证应用程序运行效率ServerModel-Aware（基于服务器类型）•根据服务器类型分配资源•尽可能利用性能好的、昂贵的资源，是投资回报最大化Topology-Aware（基于网络拓扑）•尽量使用连接到同一个交换机、背板、刀片中心的服务器运行用户任务•提高应用程序运行效率资源分配策略AppAVMAppAVMAppAVMAppBVMAppBVMAppBVMAppCVMAppCVMAppBVMAppAVMAppDVMAppDVMAppDVMAppEVMAppAVMAppAVMAppCVM1234444BottomLeftBottomLeft每个被使用的服务器利用率最大化，减少资源碎片节能——根据需求动态启动和关闭服务器Bottom-LeftDecreasingBin-PackingHeuristic策略1：Packing（填满）策略策略2：Striping（分散）策略AppBVMAppBVMAppCVMAppCVMAppAVMAppAVMAppEVMAppCVMAppAVM将应用程序或虚拟机启动在使用最少的物理服务器上。每台物理服务器运行的应用程序或虚拟机最小化降低物理服务器故障的影响提高应用程序、虚拟机运行效率策略3：TopologyAware(基于网络拓扑）策略机架二机架一刀片中心一刀片中心二刀片中心三刀片中心四可用的节点被占用的节点尽量保证为应用程序分配的服务器资源之间的网络路径最小仅在万不得已的情况下才跨刀片中心、机架、交换机分配服务器资源提高应用程序运行效率策略4：Affinity-based(基于关联程度)策略将任务分配到与关键资源关联度最高的服务器上，例如将任务分配到与存储系统直连的服务器上保证应用程序运行效率应用A应用B策略5：HA-enabled（支持HA）策略将关键应用分配到支持HA的服务器上。根据业务类型和费用，提供不同级别的可用性。HA服务器非关键应用-$0.15/hour关键应用A$2/hour关键应用B$1/hour策略6：节能优化策略•实现“绿色”策略:让系统分配能源效率最高的机器让系统分配温度最低的机器，以避免系统出现“热点”指定任务在晚上时段运行，此时的电费最便宜计算机设备传感器任务分发EngineUPS需求,合同,资源供给…空调目录IDC发展面临的挑战云计算解决方案调度与管理总结•服务资源整合•服务资源调度•资源分配策略•服务资源管理云计算平台云系统管理员部门经理开发经理应用程序所有者最终用户应用经理•云的客户•负责合同签署•资源使用的规划•选择服务提供给最终用户定义优先级与资源的分配策略•成本管理•发布可用的服务•将资源转变为服务•管理和维护资源的清单•请求并使用特定应用的虚拟机或物理机•按照应用经理规定的优先级和资源分配策略使用计算机资源开发人员应用程序用户服务资源管理AppApp资源池业务需求多种虚拟机管理器和操作系统同步运行服务能在各计算机之间“浮动”，即使整个网络都瘫痪，任务数据也不会丢失。所有事件记录在指定文件系统中，零停机时间、零数据损失。当第一台机器恢复正常时，机群服务就可恢复并继续运行。整个过程对用户来说是透明的，感觉不到远程集群的存在。X服务异常处理管理AppAppAppAppAppAppApp集群1集群1集群2集群3集群4无缝扩展负载平衡资源扩展管理AppAppAppAppAppAppAppAppAppAppApp目录IDC发展面临的挑战云计算解决方案调度与管理总结•服务资源整合•服务资源调度•资源分配策略•服务资源管理带来的价值管理员手工创建虚拟机、手工部署应用，周期长？管理员手工管理所有资源，复杂？缺乏部署与调度策略，自动化程度低？商用虚拟化软件，价格昂贵？固化的管理平台，无法扩展？希望提供用户自助服务？希望提供智能的资源预约、自动的应用部署功能？……系统自动部署虚拟机，自动部署应用，周期短管理平台统一监控、管理资源，异常事件告警、迁移策略，简洁智能丰富的部署与调度策略，根据应用情况分配资源，减少人工干预根据应用系统特点合理选择虚拟化软件，提高性价比管理平台可扩展，开源与商用的虚拟化软件可共存，并可管理其他资源提供便捷的用户自助服务，资源申请、资源审批、对虚拟机的控制等资源预约为关键业务提供保障，自动的应用部署减少人工操作、缩短周期更多……AppServerApp1AppServerApp2AppServerAppNAppServerSourcepoolVirtualServersSelf-ServicePortalApp1App2AppN系统部署的时间从几天缩短到几分钟，没有双机备份，低成本节省投资UserAUserBHighPerformanceComputingSourcePoolUserBWorkloadManagerWorkloadManagerUserA在固有的资源上，开发了更多的服务项目降低成本，提高资源利用率通过自动化管理，降低了维护费用提高业务支撑能力云平台CUSTACUSTBCUSTCCUSTX…提高运维效率系统不再进行手动部署业务系统，可以满足日益增长的业务需求用户系统配置的改变，需要时间更短满足了客户业务扩张的需求减少了认为的中间环节，提高了工作效率实现了ServiceonDemand•系统登陆云平台门户界面•云应用云平台门户界面数据管理•任务管理•数据管理云平台门户界面Web上进行图形化交互云平台门户界面Web上进行图形化交互谢谢！