搜索
《虚拟化与云计算》实验报告学院计算机学院专业软件工程学号3112006229姓名陈志勇指导教师姜文超日期2015年12月成绩Ubuntu14.04安装配置Hadoop2.7.1与wordcount实例运行第一阶段：安装Ubuntu系统1、打开VMwareWorkstation，创建新的虚拟机。点击下一步2、选择下载好的Ubuntu镜像文件，点击下一步进行安装3、安装好Ubuntu系统后显示如下界面第二阶段：安装配置JDK环境1、把下载好的jdk文件放到桌面文件夹中2、在usr目录中新建一个java文件夹3、把jdk复制到java文件夹中执行结果如下图：4、授权安装jdk文件，执行如下命令5、执行开始安装命令：sudou+x/usr/java/jdk-6u45-linux-x64.bin，执行结果如下：执行结果会在Home文件夹中多出一个jdk安装目录把该文件夹复制到usr/jdk目录中6、设置jdk环境变量，要注意此时需要把权限切换成根权限才能执行命令（1）设置系统启动加载索引，弹出环境设置编辑窗口（2）在此窗口中追加如下信息PATH='/usr/java/jdk1.6.0_45/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games'exportJAVA_HOME=/usr/java/jdk1.6.0_45exportJRE_HOME=/usr/java/jdk1.6.0_45/jreexportCLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib（3）设置系统的环境变量，输入一下环境变量的设置信息#SetJavaEnvironmentexportJAVA_HOME=/usr/java/jdk1.6.0_45exportJRE_HOME=/usr/java/jdk1.6.0_45/jreexportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH完成后运行java–version显示jdk版本信息，查看是否安装成功上图显示javaversion为1.6.0——45，则说明JDK安装成功第三阶段：配置运行环境1、根据官网的安装教程，需要安装ssh和rsync安装过程中出现如下问题：经查资料这是因为,openssh-server是依赖于openssh-clien的,那ubuntu不是自带了openssh-client吗?原因是自带的openssh-clien与所要安装的openssh-server所依赖的版本不同,这里所依赖的版本是1:6.6p1-2ubuntu1E:无法修正错误，因为您要求某些软件包保持现状，就是它们破坏了软件包间的依赖关系。所以要安装对应版本的openssh-client,来覆盖掉ubuntu自带的执行以下命令：sudoapt-getinstallopenssh-client=1:6.6p1-2ubuntu1，按照提示执行下一步命令，执行结果如下，可以看到openssh-client被降级成功再次执行sudoapt-getinstallssh命令，执行结果如下，可以正常执行下去再执行sudoapt-getinstallrsync命令：可以看到rsync已是最新版本的信息2、创建Hadoop用户组3、创建hadoop用户，添加fullname为hadoop014、给hadoop用户添加权限，执行以下命令，按enter后进入编辑sudoers页面，添加hadoop权限，如下图所示5、建立ssh无密码登录本机下面采用rsa方式创建ssh-key，如图所示执行完成后在ssh目录下生成两个文件：id_rsa和id_rsa.pub6、进入ssh目录，将id_rsa.pub追加到authorized_keys授权文件中，完成后就可以无密码登陆本机了：7、登陆localhost，验证是否能够实现登陆:可以看出登陆成功8、退出登陆第四阶段：安装Hadoop1、把下载好的Hadoop复制到虚拟机中2、完成后执行以下命令把hadoop移动到user目录下：sudomv/home/chen/Desktop/hadoop/user/hadoop，执行完后可以在usr目录下看到hadoop文件夹3、将hadoop文件夹的属主用户设为hadoop：4、打开hadoop/etc/hadoop/hadoop_env.sh文件进行配置配置JAVA_HOME:5、打开core-site.xml文件，添加以下配置信息：6、打开mapred-site.xml文件，添加以下配置信息：7、打开hdfs-site.xml文件，添加以下配置信息：8、打开master文件，输入localhost（单机环境只需要localhost）9、打开slaves文件，单机只需要添加localhost:第五阶段：运行hadoop1、初次运行hadoop需要执行格式化操作，命令如下：（注：如果是自定义用户操作，不能执行此步骤，因此需要切换到root权限执行），执行结果如下图，显示datalog1和datalog2已成功创建：2、启动sbin/start-all.sh，执行结果如下:3、检测hadoop是否成功启动：第六阶段：执行workout程序1、在、usr/hadoop目录下创建文件夹“file”2、创建两个文本：file1.txt和file2.txt,使file1.txt内容为HelloWorld，file2.txt内容为HelloHadoop。3、在HDFS文件夹创建输入文件夹，hdfs路径如下：4、在input创建f1、f2并写内容命令如下：catinput/f1Helloworld2catinput/f2Hellohadoop25、.在hdfs创建/porrylee/input目录，命令如下：bin/hadoopfs-mkdir/porryleebin/hadoopfs-mkdir/porrylee/input6、将f1、f2文件copy到hdfs/porrylee/input目录7、查看hdfs上是否有f1、f2文件：bin/hadoopfs-ls/porrylee/input/上图可以看到我们找到了两个文件8、执行wordcount程序命令如下：bin/hadoopjarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jarwordcount/porrylee/input//output/wordcount3执行完毕后如下：9、查看执行结果命令如下：bin/hdfsdfs-cat/output/wordcount3/*执行后，可以看到统计结果，如下图：至此，我们成功运行了wordcount程序