虚拟机与Linux系统安装以及云计算平台的搭建及安装

互联网高级技术课程设计学生姓名：系别：计算机与通信工程学院专业：班级：学号：2014年月日虚拟机建立成功，下面开始安装Linux系统：然后重启即可。三、配置网络点击菜单栏中的“帮助”可以产看配置网络，以及其他的Ubuntu的界面之类的配置，管理。这里仅仅介绍网络的配置，其他的查看帮助：在菜单栏中选择：系统——首选项——网络连接，如下图所示:然后选择编辑，如下图：之后点击ipv4标签，从方法下拉菜单中选择从手动，点击添加，设置网络信息，设置好后点击应用。即可。四．设置语言在菜单选项中选择“系统——系统管理——语言支持——更新”，即可自动下载语言组建进行更新为中文。五、软件安装具体见：=369531使用新立得软件包管理器安装程序：搜索,标记,应用：应用此方法搜索ssh,jdk，然后点击右键进行标记，标记完，点击应用，即可下载并安装。安装好的文件一般在默认的usr目录下：1．Jdk环境配置：需要配置两个文件：一个是：/etc/environment是系统启动加载索引。一个是：/etc/profile是环境变量：在终端下进行配置：gedit/etc/environment在编辑器中添加以下内容,如下图：保存后进行关闭修改配置第二个文件：gedit/etc/profile添加内容如下：保存关闭即可，进行重启。重启后在终端下查看jdk版本：java-version出现以下内容：说明jdk1.6已经安装输入java出现很多内容，说明Java能用输入javac出现很多内容，说明javac可用。2．安装并启动ssh服务安装OpenSSHUbuntu缺省没有安装SSHServer，使用以下命令安装：sudoapt-getinstallopenssh-serveropenssh-client不过Ubuntu缺省已经安装了sshclient。这样，ssh就可以使用的其密码是用户的密码。3．Hadoop安装下载Hadoop-0.20.2.tar.gz放到/usr/local目录下，右键进行解压或用命令tarzxvfhadoop-0.20.2.tar.gz进行解压。安装ubuntu（上面已讲）Ubuntu12.10交换空间4G（内存2G）。具体安装过程不赘述。用户名统一为：hadoop；组群:hadoop；机器名：namenode（主节点）,datanode1（从节点1）,datanode2（从节点2）。在Ubuntu下创建hadoop用户组和用户（也可在安装系统时通过界面配置）1.创建hadoop用户组;$sudoaddgrouphadoop记下这里为hadoop用户设置的密码，后面使用hadoop用户登录时需要用到。2.创建hadoop用户;$sudoadduser-ingrouphadoophadoop3.给hadoop用户添加权限，打开/etc/sudoers文件;$sudogedit/etc/sudoers4.给hadoop用户赋予root用户同样的权限。在rootALL=(ALL:ALL)ALL下添加如下内容：hadoopALL=(ALL:ALL)ALL在Ubuntu下安装JDK配置环境变量：$sudogedit/etc/profile在文件的末尾加上如下内容，保存并关闭文件#forjavaexportJAVA_HOME=/usr/lib/jvm/jdk1.8.0exportJRE_HOME=${JAVA_HOME}/jreexportCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexportPATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH使设置生效：到此部JDK的配置就都完成了$source/etc/profile为保证正确性，进行简单的测试$java-version输出：javaversion1.8.0Java(TM)SERuntimeEnvironment(build1.8.0)JavaHotSpot(TM)ServerVM修改默认JDK：sudoupdate-alternatives--install/usr/bin/javajava/usr/lib/jvm/jdk1.8.0/bin/java300sudoupdate-alternatives--install/usr/bin/javacjavac/usr/lib/jvm/jdk1.8.0/bin/javac300sudoupdate-alternatives--install/usr/bin/jarjar/usr/lib/jvm/jdk1.8.0/bin/jar300以下两句可选（最好执行）：sudoupdate-alternatives--configjavasudoupdate-alternatives--configjavac修改机器名（这步骤可以省略）每当ubuntu安装成功时机器名都默认为：ubuntu，但为了以后集群中能够容易分辨各台服务器，需要给每台机器取个不同的名字。机器名由/etc/hostname文件决定。1.打开/etc/hostname文件;$sudogedit/etc/hostname2.将/etc/hostname文件中的ubuntu改为对应机器，如主节点中，修改为namenode。重启生效。3.修改/etc/hosts文件$sudogedit/etc/hosts改为如下所示，并且将每台机器的IP设置为固定IP：安装ssh服务这里的ssh不是指三大框架:spring,struts,hibernate，而是一种远程登录协议。ubuntu一般只是默认安装了ssh-agent,可以用如下命令查看：$sudops-ef|grepssh如果只有ssh-agent就需要安装openssh-server了。$sudoapt-getinstallsshopenssh-server建立ssh无密码登录本机首先要转换成hadoop用户，执行以下命令：$sudosu-hadoopssh生成密钥有rsa和dsa两种生成方式，默认情况下采用rsa方式。1.创建ssh-key，，这里我们采用rsa方式;$ssh-keygen-trsa-P请注意，ssh-kengen是用连字符连着的，千万不要分开。问题如下：按照您的步驟執行的過程中我在ssh-keygen-trsa-P這邊發生的點小狀況輸入之後終端機顯示Badescapecharacterygen（红字部分就是问题所在，他将ssh-keygen分开了。）（注：回车后会在~/.ssh/下生成两个文件：id_rsa和id_rsa.pub这两个文件是成对出现的）2.创建授权文件authorized_keys进入~/.ssh/目录下，发现开始是没有authorized_keys文件的，可以使用以下两种方法：(1)将id_rsa.pub追加到authorized_keys授权文件中;$cd~/.ssh$catid_rsa.pubauthorized_keys(2)复制id_rsa.pub为authorized_keys$cp~/.ssh/id_rsa.pub~/.ssh/authorized_keys3.登录localhost;$sshlocalhost4.执行退出命令(exit或CTRL+D);安装hadoop1.假设hadoop-0.20.2.tar.gz在桌面，将它复制到安装目录/usr/local/下；$sudocphadoop-0.20.2.tar.gz/usr/local/2.解压hadoop-0.20.2.tar.gz；$cd/usr/local$sudotar-zxvfhadoop-0.20.2.tar.gz3.将解压出的文件夹改名为hadoop;$sudomvhadoop-0.20.2hadoop4.将该hadoop文件夹的属主用户设为hadoop，$sudochown-Rhadoop:hadoophadoop5.打开hadoop/conf/hadoop-env.sh文件;$sudogedithadoop/conf/hadoop-env.sh6.配置conf/hadoop-env.sh（找到#exportJAVA_HOME=...,去掉#，然后加上本机jdk的路径）;exportJAVA_HOME=/usr/lib/jvm/java1.8.07.打开conf/core-site.xml文件;$sudogedithadoop/conf/core-site.xmlconfigurationpropertynamefs.default.name/namevaluehdfs://namenode:9000/value/property/configuration8.打开conf/mapred-site.xml文件;$sudogedithadoop/conf/mapred-site.xmlconfigurationpropertynamemapred.job.tracker/namevaluenamenode:9001/value/property/configuration9.打开conf/hdfs-site.xml文件;$sudogedithadoop/conf/hdfs-site.xmlconfigurationpropertynamedfs.name.dir/namevalue/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2/value/propertypropertynamedfs.data.dir/namevalue/usr/local/hadoop/data1,/usr/local/hadoop/data2/value/propertypropertynamedfs.replication/namevalue3/value/property/configuration注意：datalog1，datalog2，data1，data2文件夹最好事先建好。10.打开conf/masters文件，添加作为secondarynamenode的主机名.11.打开conf/slaves文件，添加作为slave的主机名，一行一个。运行hadoop1.进入hadoop目录下，格式化hdfs文件系统，初次运行hadoop时一定要有该操作，$cd/usr/local/hadoop/$bin/hadoopnamenode-format2.启动bin/start-all.sh进入bin目录下，$./start-all.sh关闭：同目录下./stop-all.sh3.检测hadoop是否启动成功$jps4.Web查看一个jobtracker的web访问接口，为的是方便用户查看相关信息。类似的还有：–webUIoftheNameNodedaemon–webUIoftheJobTrackerdaemon–webUIoftheTaskTrackerdaemon