项目7 Hadoop环境的搭建与管理

项目七Hadoop环境的搭建与管理项目内容：7.1实训一Hadoop的安装与配置7.2实训二Hadoop的管理7.3实训三HadoopShell命令7.1.1实训内容Hadoop是一种开源、高可靠、伸缩性强的分布式计算机系统，需要搭建多台服务器。本实训主要完成hadoop集群环境的搭建和管理。7.1.2实训目的1、掌握ssh节点机间无密码访问的设置；2、掌握用户的创建；3、掌握hadoop参数的设置；4、掌握hadoop分布式环境的搭建。7.1.3实训步骤步骤1：创建hadoop用户。分别在四台节点机上创建用户hadoop，uid=660，密码分别为h1111,h2222,h3333,h4444。登录node1节点机，创建hadoop用户和设置密码。操作命令如下：其他节点机的操作与此相同。步骤2：设置Master节点机ssh无密码登录Slave节点机。1）在node1节点机上，以用户hadoop用户登录或者使用su–hadoop切换到hadoop用户。操作命令如下：2）使用ssh-keygen生成证书密钥。操作命令如下：3）使用ssh-copy-id分别拷贝证书公钥到node1，node2，node3，node4节点机上。操作命令如下：4）在node1节点机上使用ssh测试无密码登录node1节点机。操作命令如下：以上表示操作成功。在node1节点机上继续使用ssh测试无密码登录node2、node3和node4节点机。操作命令如下：测试登录每个节点机后，记得输入exit退出。步骤3：使用WinSCP上传hadoop-2.6.0.tar.gz软件包到node1节点机的root目录下。如果hadoop软件包在node1节点机上编译，则把编译好的包拷贝到root目录下即可。步骤4：解压文件，安装文件。操作命令如下：步骤5：修改hadoop配置文件，Hadoop配置文件主要有：hadoop-env.sh、yarn-env.sh、slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。配置文件在/home/hadoop/etc/hadoop/目录下，进入该目录进行配置。操作命令如下：1）修改hadoop-env.sh，将文件中的exportJAVA_HOME=${JAVA_HOME}修改为exportJAVA_HOME=/usr/lib/jvm/java-1.7.0。操作命令如下：2）修改slaves，该文件登记DataNode节点主机名，本处添加node2，node3，node4三台节点主机名。操作命令如下：3）修改core-site.xml，将文件中的configuration/configuration修改为如下内容。configurationpropertynamefs.defaultFS/namevaluehdfs://node1:9000/value/propertypropertynameio.file.buffer.size/namevalue131072/value/propertypropertynamehadoop.tmp.dir/namevaluefile:/home/hadoop/tmp/valuedescriptionAbaseforothertemporarydirectories./description/propertypropertynamehadoop.proxyuser.hadoop.hosts/namevalue*/value/propertypropertynamehadoop.proxyuser.hadoop.groups/namevalue*/value/property/configuration其中node1为集群的NameNode（Master）节点机，node1可以使用IP地址表示。4）修改hdfs-site.xml，将文件中的configuration/configuration修改为如下内容。configurationpropertynamedfs.namenode.secondary.http-address/namevaluenode1:9001/value/propertypropertynamedfs.namenode.name.dir/namevaluefile:/home/hadoop/dfs/name/value/propertypropertynamedfs.datanode.data.dir/namevaluefile:/home/hadoop/dfs/data/value/propertypropertynamedfs.replication/namevalue3/value/propertypropertynamedfs.webhdfs.enabled/namevaluetrue/value/property/configuration其中为了便于教学，第二个NameNode也使用node1节点机，NameNode产生的数据存放在/home/hadoop/dfs/name目录下，DataNode产生的数据存放在/home/hadoop/dfs/data目录下，设置备份数量3份。5）将文件mapred-site.xml.template改名为mapred-site.xml。操作如下：将文件中的configuration/configuration修改为如下内容。configurationpropertynamemapreduce.framework.name/namevalueyarn/value/propertypropertynamemapreduce.jobhistory.address/namevaluenode1:10020/value/propertypropertynamemapreduce.jobhistory.webapp.address/namevaluenode1:19888/value/property/configuration6）修改yarn-site.xml，将文件中的configuration/configuration修改为如下内容。configurationpropertynameyarn.resourcemanager.hostname/namevalue192.168.23.111/value/propertypropertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/propertypropertynameyarn.nodemanager.aux-services.mapreduce.shuffle.class/namevalueorg.apache.hadoop.mapred.ShuffleHandler/value/propertypropertynameyarn.resourcemanager.address/namevaluenode1:8032/value/property（接上页）propertynameyarn.resourcemanager.scheduler.address/namevaluenode1:8030/value/propertypropertynameyarn.resourcemanager.resource-tracker.address/namevaluenode1:8031/value/propertypropertynameyarn.resourcemanager.admin.address/namevaluenode1:8033/value/propertypropertynameyarn.resourcemanager.webapp.address/namevaluenode1:8088/value/property/configuration步骤6：修改“/home/hadoop/”文件用户主/组属性。操作如下：步骤7：将配置好的hadoop系统复制到其他节点机上。操作如下：步骤8：分别登录node2，node3，node4节点机，修改“/home/hadoop/”文件用户主/组属性。至此，整个hadoop分布式系统搭建完成。7.2实训二Hadoop的管理7.2.1实训内容Hadoop系统搭建完成后，需要对NameNode节点进行格式化，启动相关服务，检查运行状态。本实训主要完成hadoop服务的启动、停止和日常监控操作。7.2.2实训目的1、掌握hadoop服务的启动和停止；2、掌握监控每台节点机的服务状态；3、掌握hadoop应用环境的测试和使用；4、掌握使用浏览器监控hadoop服务状态。7.2.3实训步骤步骤1：格式化NameNode。登录node1节点机，以用户hadoop登录或su–hadoop登录，格式化NameNode。操作命令如下：格式后，最后部分内容显示如下：最后显示有“successfullyformatted.”表示格式化成功。步骤2：启动、停止hadoop服务。进入/home/hadoop/sbin/，可以看到目录的脚本程序，如下所示：1）运行start-dfs.sh脚本程序。操作命令如下：2）运行yarn脚本程序。操作命令如下：3）分别检查每3）分别检查每台节点机运行情况。操作命令如下：台节点机运行情况。操作命令如下：4）停止hadoop服务，停止服务后，后面操作无法进行，这步暂时不操作。操作命令如下：步骤3：查看集群状态。操作命令如下：步骤4：查看文件块组成。操作命令如下：步骤5：使用浏览器浏览Master节点机，查看NameNode节点状态。步骤6：浏览Datanodes数据节点。步骤7：使用浏览器浏览Master节点机查看所有应用。步骤8：浏览Nodes。7.3实训三HadoopShell命令7.3.1实训内容为方便对hdfs文件系统和作业提交的操作，hadoop提供了一些基本的shell操作，这些基本操作与linux下的操作有很多相似性。shell操作的基本命令格式为：hdfsdfs-cmdargs其中，-cmd为为具体的操作命令如-cp（复制命令）。本实训练习hadoopshell命令的使用。7.3.2实训目的1、了解hadoopshell命令的用法；2、掌握hadoopshell命令的操作。7.3.3实训步骤步骤1：在hdfs创建swvtc目录。操作命令如下：[hadoop@node1~]$hdfsdfs-mkdir/swvtc#类似mkdir/swvtc步骤2：在hdfs查看当前目录。操作命令如下：[hadoop@node1~]$hdfsdfs-ls/#类似ls/Found1itemsdrwxr-xr-x-hadoopsupergroup02014-12-2310:07/swvtc步骤3：在本地系统编辑文件jie.txt。操作命令如下：[hadoop@node1~