第10章-云计算大数据仿真技术46

云计算与大数据技术人民邮电出版社王鹏黄焱安俊秀张逸琴编著目录第1章云计算与大数据基础第2章云计算与大数据的相关技术第3章虚拟化技术第4章集群系统基础第5章MPI—面向计算第6章Hadoop—分布式大数据系统第7章HPCC—面向数据的高性能计算集群系统第8章Storm—基于拓扑的流数据实时计算系统第9章服务器与数据中心第10章云计算大数据仿真技术CONTENTS第10章云计算大数据仿真技术第10章云计算大数据仿真技术《云计算与大数据技术》2019/8/1并行计算实验室10.1用参数定义物理设备进行仿真10.2云计算仿真系统—CloudSim—10.2.1CloudSim基础—10.2.2CloudSim体系结构—10.2.3CloudSim的使用模型场景—10.2.4CloudSim使用实例10.3云计算系统相空间模型2019/8/1并行计算实验室—计算机仿真是将现实生活中的系统，用计算机软件的方法在计算机中建立虚拟的替代物，以方便人们研究系统各个方面的性质。—比如，我们可以使用计算机软件对不同气候条件下的导弹的发射进行建模，模拟导弹的运动轨迹，我们可以对不同型号的导弹在不同的动力系统条件下的运动轨迹进行反复实验。—使用计算机软件的仿真技术具有经济、安全、可重复和不受气候、场地、时间限制的优势，是理论推导和科学实验之外人类认识自然、改造自然的重要手段。2019/8/1并行计算实验室—本书前面几章讲解了基于虚拟化的云计算技术、基于集群的云计算技术和云计算数据中心的相关知识，基于这些技术目前已经有很多的系统级、算法级和应用级的研究展开，这些开发和研究大多需要仿真平台。—比如，技术研发人员对大规模集群的资源调度、负载均衡、集群拓扑等展开研究，如果在物理机上进行实验，必然需要消耗大量的服务器、网络设备资源，实验环境的准备、实验数据的采集、实验方案的调试很不方便，同时成本很高，使用仿真系统是一个很好的解决方案；—对于数据中心的建设和运营人员来说，数据中心的能耗测算和经济测算非常重要，需要在项目建设之前进行预估，无法在实际的平台上进行测算，展开研究需要先在仿真实验平台上进行实验。2019/8/1并行计算实验室本章的主要内容包括云计算仿真软件CloudSim和云计算系统相空间模型，通过仿真软件和仿真模型使读者快速掌握云计算仿真的基础知识。10.1用参数定义物理设备进行仿真在仿真系统中，我们一般将实体的参数提取出来，用变量、对象、数组来定义现实中的事物在计算机系统中构建被仿真对象。服务器是数据中心的主要组成部分，我们可以将服务器的计算性能、CPU核数、硬盘大小、内存大小、网络带宽等主要参数提取出来，构建服务器对象。2019/8/1并行计算实验室，说明如何使用参数来定义物理节点，集群的参数信息如表10.1所示。表10.1虚拟机性能参数计算能力(MIPS)CPU核数硬盘大小(MB)内存大小(MB)网络带宽(MB)节点13002100005121000节点2300210000512500节点315015000256500节点41501500025610002019/8/1并行计算实验室—我们可以用数组来定义：doublenode[4][5]={300,2,10000,512,1000;300,2,10000,512,500;150,1,5000,256,500;150,1,5000,256,1000};—对硬盘、内存等其他设备也可以如此进行定义，比如，硬盘可以用品牌、型号、尺寸、容量、转速、传输速度等参数来定义，内存可以用品牌、型号、容量、速度、电压等参数来定义。—在对数据中心的经济模型进行仿真时，我们需要对CPU核单价、硬盘空间单价、内存空间单价、网络带宽单价等进行定义，确定销售经济模型。同时，需要定义数据中心能耗费用、维护费用、人员成本等，从而综合确定数据中心的经济模型，对数据中心建成后的营收情况进行预测。2019/8/1并行计算实验室—CloudSim10.2.1CloudSim基础1．CloudSim简介—CloudSim是澳大利亚墨尔本大学云计算与分布式系统实验室开发的一种通用、可扩展的云计算仿真框架，也是一个云计算仿真工具集，提供了用于描述数据中心、虚拟机、应用、用户、计算资源和管理策略等核心类。—对海量集群资源的模拟仿真一直是是计算机领域的研究课题。在网格计算时代出现了很多仿真平台，如GridSim、SimGrid、OptorSim、GangSim等，其中GridSim的开发团队也是澳大利亚墨尔本大学云计算与分布式系统实验室。GridSim等网格计算仿真软件没有将云计算体系中的SaaS、PaaS、IaaS层抽象出来，也没有虚拟化模型和资源管理模型，CloudSim继承了GridSim的编程模型，弥补了网格计算模拟软件的不足。2019/8/1并行计算实验室基于CloudSim云计算仿真器，我们不仅能够很方便地搭建可控的云环境进而对系统的资源调度和负载均衡策略进行建模和测试，还可以对云应用进行建模和测试。研发人员根据测评结果针对性地调整性能瓶颈。与此同时，CloudSim对云系统建立了价格模型和能耗模型，帮助服务提供商制订出更加合理的价格策略和节能机制。用户可以使用CloudSim提供的组件进行编程，构造自己的应用场景，也可以扩展或者自己编写类来进行仿真，使用起来非常灵活。这一点与针对特定使用场景的仿真系统不同，针对特定使用场景的仿真系统在使用的时候只需填写参数即可使用，无需编程，但无法灵活地构建使用场景。2019/8/1并行计算实验室CloudSim是使用Java语言开发的，用户只需掌握Java语言的用法和云计算的相关知识，即可建立云计算模型进行仿真。仿真平台是个模拟器，并不能运行真实的云计算平台上的应用程序。CloudSim在物理主机和虚拟机两个层面进行资源分配。物理主机中构建的所有虚拟机共享物理资源，由CloudSim中的VmScheduler负责资源的分配；CloudSim中仿真的任务称为Cloudlet，集群中的虚拟机有大量的Cloudlet需要资源，由CloudSim中的虚拟机资源调度器CloudletScheduler负责资源的分配。2019/8/1并行计算实验室2．为什么要使用CloudSim对于技术研发人员来说，大规模集群的资源调度、负载均衡、集群平台，集群拓扑等研究如果在物理机上进行，需要大量的服务器、网络设备资源，实验环境的准备、实验数据的采集、实验方案的调试很不方便、成本很高，需要先在仿真实验平台上进行实验。—对云应用服务的测试也会比较麻烦，主要表现在：（1）应用服务商直接将应用部署到云平台上之后再进行测试，无疑会带来额外的成本开销。一旦应用程序接入云平台就必须要缴纳相应的费用，这样在应用没有任何经济效益的情况下就产生了额外的费用，对于SaaS提供商来说是不经济的；（2）实际运行的云平台环境（IaaS、PaaS）是不可控的，整个互联网环境时而拥塞，时而清闲，从而导致了云平台资源使用的无规律性和不可再现性，不利于应用的重复测试。2019/8/1并行计算实验室3．CLoudSim的特点（1）能够在一台PC上建模和仿真大规模云计算基础设施，如数据中心、物理主机等；（2）支持用户任务以及服务代理的建模和仿真；（3）支持对云计算环境中的网络环境进行建模；（4）有效地利用虚拟化引擎，帮助在数据中心节点上创建、管理和销毁多个虚拟节点；（5）可以灵活地在基于时间共享和基于空间共享的虚拟化策略之间进行切换；（6）支持对云数据中心的能耗行为进行建模和仿真；（7）可以方便地建立云平台资源的价格策略，包括存储价格、带宽价格等；（8）能够模仿多个云厂家之间进行透明交易，包括任务迁移、存储迁移、价格协商等。10.1CloudSim分层体系架构用户代码仿真描述调度策略云计算方案用户需求应用配置...用户策略和默认的DataCenterBrokerCloudSim用户接口云任务虚拟机虚拟机服务云任务执行虚拟机管理云资源事件处理传感器云服务分配虚拟机分配CPU分配内存分配硬盘分配带宽云协调器数据中心网络网络拓扑计算消息延迟CloudSim核心仿真引擎10.2.2CloudSim多层体系结构2019/8/1并行计算实验室1．用户代码层—用户代码层处于系统的上层，包含仿真描述和调度策略，用户在这一层定义云计算方案、用户需求，进行应用配置，同时云应用开发人员可以生成工作流请求，根据用户的配置进行云计算场景的强力测试。（1）仿真描述。对于云服务使用者来说，他们需要测试应用程序在特定云平台上的服务性能，或者测试应用程序需要占用多少云资源，只需创建与特定云平台类似的虚拟云平台，并按应用程序的需求（如带宽、内存等）创建对应的云任务（在CloudSim中云任务被定义为Cloudlet）。之后，就可以让云任务运行在虚拟的云平台上最终得到测试结果。比如，一个亚马逊云平台的使用者，想在其上部署一个网络硬盘的应用程序，希望估算需要租用多少服务，可以使用CloudSim进行仿真。首先，使用CloudSim建立一个虚拟的亚马逊云平台；然后，在其上建立一定数量的虚拟机资源对应某一云服务性能；最后，按照自己的预期生成云服务（比如，需要多大的硬盘、带宽、内存等），使其运行在之前建立的虚拟的云服务上得出测试结果。2019/8/1并行计算实验室（2）调度策略。从云服务提供者的角度，服务提供者想测试云平台任务调度策略是否合理，或者服务商提出一种新的任务调度策略，在使用之前需要对其进行测试。测试的重心相较于CloudSim就不一样了，测试的步骤需要先实现自定义的任务调度策略（主要是更改数据中心代理DatacenterBroker）。比如，亚马逊的用户发现当前的任务调度策略没有发挥最好的作用，设计实现了一种新的调度策略，可以先在CloudSim进行仿真。首先，改写DatacenterBroker的任务调度策略的代码；然后，创建云平台和云任务并运行，最终得出测试结果。2019/8/1并行计算实验室2．CloudSim层—CloudSim仿真层的主要作用是对基于虚拟化的数据中心环境中的虚拟机、内存、存储、带宽等进行建模仿真。将物理机切分为虚拟机、应用程序管理、集群系统状态监控等工作由CloudSim仿真层来完成。用户在CloudSim仿真层编写自己的策略，就可以对虚拟化数据中心的虚拟主机分配策略进行研究，评估不同的分配策略下数据中心的运行情况。云应用开发人员可以在CloudSim仿真层测试不同的云应用的运行效果。—实际的云计算环境中基本组成元素是数据中心（Datacenter）。数据中心包含了大量的物理主机，且云环境下的物理主机是可以被多个虚拟机共享的，CloudSim定义了一组资源共享策略的接口（UtilizationModel），来描述如何使用共享资源，CloudSim中的主机可