B02 Hadoop安装及配置

Linux准备修改Linux的hostname[hadoop@Linuxhadoop-2.5.0]$sudovi/etc/sysconfig/network[hadoop@Linuxhadoop-2.5.0]$sudovi/etc/hosts关闭Linux防火墙[hadoop@linuxhadoop-2.5.0]$sudochkconfigiptablesoff[hadoop@linuxhadoop-2.5.0]$sudoserviceiptablesstop给普通用户设置sudo权限1.使用root用户2.使用root用户输入：visudo3.设置免密登陆：##Samethingwithoutapassword#%wheelALL=(ALL)NOPASSWD:ALLXXXALL=(ALL)NOPASSWD:ALL#XXX就是需要赋予权限的用户名Linux版JDK卸载安装需要先切换到root用户jdk卸载查看本机Java版本命令：[hadoop@Linux/]$rpm-qa|grepjava运行结果：java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64tzdata-java-2013g-1.el6.noarch卸载本机jdk：(需要将三个都卸载掉)[hadoop@Linux/]$rpm-e--nodepsjava-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64tzdata-java-2013g-1.el6.noarch安装配置jdk给jdk文件赋予执行权限[hadoop@Linuxsoftwares]$chmodu+xjdk-7u67-linux-x64.tar.gz安装jdk[hadoop@Linux/]$tar-zxvfjdk-7u67-linux-x64.tar.gz-C/opt/modules/配置jdk:::JAVA_HOME切换至root用户使用root用户编辑文件：[root@Linux/]#vi/etc/profile在文件末尾添加：##JAVA_HOMEexportJAVA_HOME=/opt/modules/jdk1.7.0_67exportPATH=$PATH:$JAVA_HOME/bin为了使文件生效需要执行以下命令：[root@Linux/]#source/etc/profile退出root用户[root@Linux/]#exit常见命令整理查看ip地址：ifconfig查看本机JDK版本：java-version查看系统整体资源：top查看内存使用情况：free/free-m（查看内存使用情况按照M为单位显示）查看端口情况：netstat[-an/-tlnp]查看进程：psps-ef查看正在活动的进程psauxf1.杀死进程：kell+PIDa)PID通过ps–ef命令来进行查看2.强制杀死一个进程：kell-9PIDgrep命令实例：=====将/etc/passwd，有出现root的行取出来#greproot/etc/passwdroot:x:0:0:root:/root:/bin/bashoperator:x:11:0:operator:/root:/sbin/nologin或#cat/etc/passwd|greprootroot:x:0:0:root:/root:/bin/bashoperator:x:11:0:operator:/root:/sbin/nologinvi编辑器vi快捷方式显示行号：setnu,进入最后行模式使用光标快速移动到第一行，小写gg，命令模式使用光标快速移动到最后一行，大写G，命令模式使用光标快速移动到每一行的开头，Home，命令模式使用光标快速移动到每一行的结尾，End，命令模式使用删除一行，小写dd，（带有剪切功能）命令模式使用粘贴一行，小写p，命令模式使用删除多行，小写dd，加上数字，比如三行就是3dd，命令模式使用撤销上一步的操作，小写u，命令行模式使用删除、拷贝命令在命令模式下dd剪切一行ndd剪切光标下方n行yy复制一行yankednyy复制光标下方n行p粘贴搜索命令在命令模式下，搜索一个字符串string/stringn继续搜索下一个N搜索上一个出现的位置替换内容在最后行模式下使用1,$s/nologin/88888/g-1表示第一行-$表示最后一行（1，$）表示的是一个范围，比如（5,$）-/nologin/88888/表示替换和被替换-g表示通行HadoopHadoop的介绍Hadoop官网命令[hadoop@Linuxsoftwares]$tar-zxvfhadoop-2.5.0.tar.gz-C/opt/modules/配置Hadoop配置Hadoop中的JAVA_HOME需要修改Hadoop目录下的配置文件：(Hadoop的配置文件都在本目录下)/opt/modules/hadoop-2.5.0/etc/hadoophadoop-env.sh#Thejavaimplementationtouse.exportJAVA_HOME=后边跟的是JAVA_HOME的安装配置路径配置集群集群分为三种情况：本地模式运算在本地，数据来源于本地。在Hadoop目录下创建一个input目录[hadoop@Linuxhadoop-2.5.0]$mkdirinput拷贝etc/hadoop下的全部的xml文件到input目录[hadoop@Linuxhadoop-2.5.0]$cpetc/hadoop/*.xmlinput/运行本地模式的Hadoop#bin/hadoopjarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jargrepinputoutput'dfs[a-z.]+'input就是输入的路径，就是要处理的数据所在的目录。output就是结果输出的路径，就是保存输出结果的目录。伪分布式运算在本地，但是数据来源于hdfs文件系统core-site.xml一、!--指定HDFS文件系统的所在机器及所在机器的端口号--propertynamefs.defaultFS/namevaluehdfs://localhost:9000/value/propertylocalhost这个就是指定hdfs文件系统的所在机器，并指定其所占用的端口号。9000端口号，一般指定为：8020示例：!--指定HDFS文件系统的所在机器及所在机器的端口号--propertynamefs.defaultFS/namevaluehdfs://Linux.CentOS65.01:8020/value/property二、在Hadoop的根目录下创建临时目录[hadoop@Linuxhadoop-2.5.0]$mkdirdata[hadoop@Linuxdata]$mkdirtmp指定Hadoop的运行时的临时目录!--设置Hadoop运行时的临时目录--propertynamehadoop.tmp.dir/namevalue/opt/modules/hadoop-2.5.0/data/tmp/value/propertyslaves将所有节点的主机名配置到这里面，一行一个主机名hdfs-site.xml指定HDFS文件系统的文件副本数propertynamedfs.replication/namevalue1/value/property注意因为这个是伪分布式只有一台机器所以本属性配置为1关闭hdfs的文件权限控制!--关闭hdfs的文件权限控制--propertynamedfs.permissions.enabled/namevaluefalse/value/property格式化namenode[hadoop@Linuxhadoop-2.5.0]$bin/hdfsnamenode-format启动namenode、datanode[hadoop@Linuxhadoop-2.5.0]$sbin/hadoop-daemon.shstartnamenode[hadoop@Linuxhadoop-2.5.0]$sbin/hadoop-daemon.shstartdatanodeWEB管理页面就是主机名+50070这个端口对hdfs文件系统进行操作---在hdfs上创建一个目录[hadoop@linuxhadoop-2.5.0]$bin/hdfsdfs-mkdir-p/user/beifeng上传本地文件到hdfs文件系统[hadoop@linuxhadoop-2.5.0]$bin/hdfsdfs-put/opt/datas/wc.input/user/beifeng/mapreduce/wordcount/input/opt/datas/wc.input本地文件所在的路径/user/beifeng/mapreduce/wordcount/input要上传到的hdfs文件系统的路径查看HDFS文件系统的文档[hadoop@linuxhadoop-2.5.0]$bin/hdfsdfs-cat/user/beifeng/mapreduce/wordcount/input/wc.input[hadoop@linuxhadoop-2.5.0]$bin/hdfsdfs-text/user/beifeng/mapreduce/wordcount/input/wc.input以上两种方式，推荐使用第二种：text的方式进行文档的查看。执行命令[hadoop@linuxhadoop-2.5.0]$bin/hadoopjarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jarwordcount/user/beifeng/mapreduce/wordcount/input//user/beifeng/mapreduce/wordcount/outputshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar本地执行的jar包所在路径wordcount要执行的函数/方法/user/beifeng/mapreduce/wordcount/input/要分析的数据的所在路径/user/beifeng/mapreduce/wordcount/output结果输出的路径伪分布式下yarn的配置yarn-env.sh配置JAVA_HOME#someJavaparametersexportJAVA_HOME=/opt/modules/jdk1.7.0_67yarn-site.xml!--NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序指明在执行MapReduce的时候使用shuffle--propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/property!--配置resourcemanager的所在主机名称--propertynameyarn.resourcemanager.hostname/namevaluelinux.centos.o