vmware BDE Big Data Extensio ICM v2.3-3

ConfidentialBDE快速入门第3单元1您的位置大数据Hadoop虚拟化BDE快速入门BDE高级应用第1课：BDE简介第2课：BDE部署第3课：BDE集群资源管理第4课：通过BDE创建Hadoop集群本单元课程第1课：BDE简介VMwarevSphereBigDataExtensions（简称BDE）于2013年9月22日作为vSphere5.5的新功能正式上市。全新的BigDataExtensions件作为vSphere的插件发布。管理员可以直接从vCenter上部署、监控和管理Hadoop集群。提高了Hadoop运行效率。VMware的大数据解决方案-BDEBDE与SerengetivSphereBigDataExtensions（BDE）是VMware基于Serengeti开源技术的商业发行版。其重点是增强vSphere基础架构对Serengeti的支持，更好地部署、运行和管理大数据相关负载。BDE打包了Serengeti虚拟化应用，并且包括一个vCenter网页客户端的插件。6更多Serengeti信息,请访问Serengeti是2012年6月启动的开源项目，定期发布更新（三个月一个周期）。利用虚拟化技术来简化Hadoop部署的管理的工具包。Serengeti虚拟化应用（VirtualAppliance）包括Serengeti管理服务器和虚拟机模板。这个应用可以很容易地部署在VMware的vCenter之上。vCenter集成快速布署Hadoop集群•部署HDFS,MapReduce,HBase,Pig,andHive服务器集群。•Hadoop集群布署、缩放自动化。多租户弹性缩放•弹性将计算和数据分开。•数据本地化，以提高效能。架构的灵活性•加强平台灵活性以支持Hadoop分布。•选择混合模式,本地存储和共享存储选项。透过vSphere实现高可用性•在Hadoop集群中的主节点和其他的单点故障达到零停机。BigDataExtensions1.0功能8集群规模按需伸缩计算和存储分离强大的多租户弹性，多租户高可用性对于整个Hadoop的主要节点一键设置久经考验高可用性快速部署一站式管理使用易于配置/更改操作简单BigDataExtensions1.0特点BigDataExtensions1.0支持的Hadoop版本9HadoopDistributionVersionNumberDistributionNameVendorAbbreviationDeploymentTypeHVESupport?Apache1.2.1apacheApacheTarballYesGreenplumHD1.2gphdGPHDTarballYesPivotalHD1.0phdPHDTarballorYumYesHortonworksDataPlatform1.3hdpHDPTarballYesClouderaCDH3Update5or63.5.0or3.6.0cdh3CDHTarballNoClouderaCDH4.3MapReducev14.3.0cdh4CDHYumNoClouderaCDH4.3MapReducev24.3.0cdh4CDHYumNoMapR2.1.3maprMAPRYumNoBDE默认发行并安装ApacheHadoop1.2这个社区的发行版。BDE作为一个管理平台能够管理多种商业发行版，并且创建和管理异构的Hadoop集群。下面的表格是官方BDE1.0所能支持的发行版本和部署方式：SerengetiVirtualHadoopManager(VHM)HadoopVirtualizationExtensions(HVE)BigDataExtensions:核心组件开源简化Hadoop虚拟化部署及操作Serengeti虚拟化改变了Hadoop核心反馈给ApacheHadoop在vSphere上高级资源管理授权、打包和支持BDE是随vSphere5.5引进的新功能。BDE支持在vSphere5.0/5.1/5.5的企业版或企业版以上运行，VMware提供技术支持。打包方式：–vSOM企业版或以上–vSphere企业版或以上服务器整合，无计划内停机容量优化和自动运行状况监控vSphere5.5StandardEnterpriseEnterprisePlus高效的资源管理基于策略的数据中心自动化可用性资源负载平衡支持新一代工作负载（Hadoop/大数据）基于策略的自动化增强的应用可用性和性能第2课：BDE部署12BDE部署模型BDE是一个打包好的虚拟设备,可以很容易布署在vSphere上。BDE成为vCenter的扩展服务器并与vCenter建立SSL连接。BDE透过模版克隆虚拟机并透过vCenter控制/配置虚拟机。BigDataExtensions系统需求vSphere要求：•安装vSphere5.0(或以上)企业版or企业加强版。•启用vSphereHAandvSphereDRS。•启用主机监控。•设置虚拟机重起策略为高。•设置虚拟机级别监控和应用级别监控。•设置监控灵敏度为高。•启用vMotion和FaultToleranceLogging。在vSphere上安装BigDataExtensions15只需一个步骤:在vSphere上布署BDE虚拟设备。推荐提供40GB或更多磁盘空间给管理服务器和Hadoop模版。安装BigDataExtensions插件打开web浏览器and输入vCenterServer链接:连接SerengetiManagementServer17在ConnecttoaSerengetiServer向导中选择连接managermentserver。BDEManagement1.使用CLI方式：•透过SerengetiCLI，连接Serengeti服务器。2.使用GUI的方式：•透过vSpherWebClient。安装Serengeti远程命令行介面客户端确认在您的环境中安装Java运行时环境（JRE）。在开始选项卡中，单击“下载SerengetiCLIConsole链接”。将SerengetiCommand-lineInterfaceClientZIP文件SerengetiCommand-lineInterfaceClient，下载到电脑上。19数入命令启动theSerengetiCommand-lineInterfaceClient:java-jarserengeti-cli-version.jar练习11.配置vSphereHA。2.配置资源池及虚拟交换机。3.部署BDE套件。4.更改SerengetiManagementServer密码。5.注册vCenter到BDE。6.连接BDE和vCenter。20第3课：BDE集群资源管理21管理vSphere资源BigDataExtensions让你管理存储和网路以及创建HadoopandHBase集群：•在SerengetiCommand-LineInterface添加资源池•在SerengetiCommand-LineInterface删除资源池•在vSphereWebClient添加数据存储•在vSphereWebClient删除数据存储•在vSphereWebClient添加网路•在vSphereWebClient删除网路22管理虚拟化Hadoop集群计算资源添加资源：•执行resourcepooladd命令。•The--vcrp参数是可选的。#:resourcepooladd--namemyRP--vcclustercluster1--vcrprp1•此范例是将vSphere集群1的rp1资源池添加到Serengeti资源池并命名为myRP删除资源：•执行resourcepooldelete命令。•如果命令失败是因为一个Hadoopr集群的资源池被引用，你可以使用resourcepoollist命令查看引用的资源池。•范例是删除一个名为myRP.的资源池。#:resourcepooldelete--namemyRP23通过SerengetiCLI管理存储资源执行datastoreadd命令。•范例是添加一个新的本地存储名为myLocalDS的数据存储.规格参数为local*,指定一个vSphere数据存储.所有vSphere数据存储的命名开始都是”local*”，由Serengeti添加和管理。#:datastoreadd--namemyLocalDS--speclocal*--typeLOCAL执行datastoredelete命令。•如果命令失败是因为Hadoop集群引用了数据存储，你可以使用datastorelist命令来查看引用的数据存储集群。•范例是删除myDS数据存储。#:datastoredelete--namemyDS24通过WebClient管理存储资源25在AddDatastore向导中的Name中输入BDE中存储的标识名称，在Datastore中输入vSphere中Datastore的名称。然后选择Datastore类型是本地还是共享的。通过SerengetiCLI管理网络资源添加网络：•执行networkadd命令。•范例是添加一个网络名为myNW到10PG的端口组。使用该网络的虚拟机透过DHCP来获得IP地址。#:networkadd--namemyNW--portGroup10PG--dhcp•范例是添加一个网络名为myNW到10PG的vSphers端口组.Hadoop节点可以使用IP范围192.168.1.2-100,DNS服务器IP为10.111.90.2,网关地址为192.168.1.1,子网掩码255.255.255.0。#:networkadd--namemyNW--portGroup10PG--ip192.168.1.2-100--dns10.111.90.2--gateway192.168.1.1--mask255.255.255.0删除网络：•执行networkdelete命令。#:networkdelete--namenetwork_name•如果命令失败，因为Hadoop集群引用该网络，你可以使用networklist--detail命令查看引用网络集群。26通过WebClient管理网络资源27在AddNetwork向导中的Name中输入BDE中网络的标识名称，在Portgroupname中输入vSphere中的Portgroup名称。然后选择网络的是DHCP还是静态。练习21.安装SerengetiRemoteCommand-Line并连接serengetimanagerserver。2.使用SerengetiCLI管理Hadoop集群的计算资源。3.使用SerengetiCLI管理Hadoop集群的存储资源。4.使用SerengetiCLI管理Hadoop集群的网络资源。5.使用vSphereWebClient管理Hadoop集群的存储资源。6.使用vSphereWebClient管理Hadoop集群的网络资源。28第4课：通过BDE创建Hadoop集群29Hadoop安装配置网络配置系统安装服务器准备手工过程，耗费数天。在用户界面上简单点击几次，完全自动化的过程，10分钟就可得到一个Hadoop集群。通过Serengeti根据vSphere最佳实践自动部署快速部署您的Hadoop集群VMplacementCalculationUICLIHostHostDN“name”:“roles”:placementPolicies:{}]}VCDNTT 可用资源查询SerengetiWebServic