hadoop3安装和配置

hadoop3.0.0安装和配置1.安装环境硬件：虚拟机操作系统：Centos764位IP：192.168.0.101主机名：dbpJDK：jdk-8u144-linux-x64.tar.gzHadoop：hadoop-3.0.0-beta1.tar.gz2.关闭防火墙并配置主机名[root@dbp]#systemctlstopfirewalld#临时关闭防火墙[root@dbp]#systemctldisablefirewalld#关闭防火墙开机自启动[root@dbp]#hostnamectlset-hostnamedbp同时修改/etc/hosts和/etc/sysconfig/network配置信息3.配置SSH无密码登陆[root@dbp]#ssh-keygen-trsa#直接回车[root@dbp]#ll~/.ssh[[e-mail]]#cpid_rsa.pubauthorized_keys[[e-mail]]#sshlocalhost#验证不需要输入密码即可登录4.安装JDK1、准备jdk到指定目录2、解压[root@dbpsoftware]#tar–xzvfjdk-8u144-linux-x64.tar.gz[root@dbpsoftware]#mvjdk1.8.0_144/usr/local/jdk#重命名4、设置环境变量[root@dbpsoftware]#vim~/.bash_profile5、使环境变量生效并验证5.安装Hadoop3.0.01、准备hadoop到指定目录2、解压[root@dbpsoftware]#tar-xzvfhadoop-3.0.0-beta1.tar.gz[root@dbpsoftware]#mvhadoop-3.0.0-beta1/usr/local/hadoop#重命名3、设置环境变量[root@dbphadoop]#vim~/.bash_profile4、使配置文件生效并验证[root@dbphadoop]#source~/.bash_profile5、Hadoop配置进入$HADOOP_HOME/etc/hadoop和$HADOOP_HOME/sbin目录，配置如下文件：hadoop-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlstart-dfs.shstart-yarn.sh1）配置hadoop-env.sh2）配置core-site.xml3）配置hdfs-site.xml4）配置mapred-site.xml5）配置yarn-site.xml6）配置start-dfs.sh6）配置start-yarn.sh4、Hadoop启动1）格式化namenode[root@dbpconf]#hadoopnamenode-format2）启动NameNode和DataNode守护进程[root@dbphadoop]#start-all.sh5、启动验证1）执行jps命令，有如下进程，说明Hadoop正常启动[root@dbphadoop]#jps注意：NameNode进程没有配置成功：1）没有格式化2）配置文件主机名信息是否正确3）hostname与ip没有绑定4）SSH的免密码登陆没有配置成功