搜索
西北师范大学计算机科学与工程学院学生实验报告学号201371010227专业计算机科学与技术班级计师(2)班姓名佘振江课程名称云计算课程类型专业选修课实验名称Hadoop集群搭建实验目的：1.Hadoop集群搭建过程；2.Hadoop集群使用示例。实验要求及内容：一、实验要求1、每个组三台PC机，构成一个集群（1）每三个人一组，在Vbox的配置—网络中，修改网络为：桥接网络。（2）修改物理机和虚拟机的地址在同一网络，均使用192.168.X.Y，每组的X取值不同，以防地址冲突。IP配置命令：$ifconfig//查看IP配置$sudoifconfigeth0192.168.2.1netmask255.255.255.0（3）测试组内所有的物理机、虚拟机相互之间是否可ping通。2、Hadoop集群安装（1）在所有的机器上建立相同的用户（2）修改hosts文件，使得三个节点可使用机器名相互访问（3）SSH配置1）在所有机器上建立.ssh目录：$mkdir.ssh，在ubuntunamenode上生成密钥对：$ssh-keygen-trsa$cd~/.ssh$cpid_rsa.pubauthorized_keys2）下图为解决不能连接端口号22的方法3）拷贝公钥到namenode节点：$scpauthorized_keystest1:/home/grid/.ssh$scpauthorized_keystest2:/home/grid/.ssh4）进入各节点的.ssh目录，改变authorized_keys文件权限$chmod644authorized_keys（4）在所有机器上配置Hadoop1）在ubuntunamenode上配置编辑core-site.xml、hdfs-site.xml和mapred-site.xmlcore-site.xmlhdfs-site.xmlmapred-site.xml编辑conf/masters，修改为master的主机名，每个主机名一行，即test1；编辑conf/slaves，加入所有slaves的主机名，即test2和test3；2）把Hadoop安装文件复制到其他机器上$scp–rhadoop-0.20.2ubuntudata1:/home/grid$scp–rhadoop-0.20.2test2:/home/grid3）编辑所有机器的conf/hadoop-env.sh文件（5）Hadoop运行1）格式化分布式文件系统$bin/hadoopnamenode-format2）启动Hadoop守护进程$bin/start-all.sh$/usr/java/jdk1.6.0_24/bin/jps(可使用Java的jps命令查看已运行的进程：Namenode,JobTracker)（6）熟练使用HDFS命令1）上传一个大文件到Hadoop集群，在HDFS中查看文件在各节点的存放情况；2）编写程序读写Hadoop集群上的文件；3）在Hadoop集群上运行Mapreduce示例程序4）查看运行结果实验总结:通过此次实验学到了如何搭建Hadoop集群，以及在搭建Hadoop集群的过程中如何配制相应的文件及环境。实验成绩教师签名