搜索
1、VMware安装我们使用Vmware14的版本，傻瓜式安装即可。（只要）双击如过2.安装xshell双击3.安装镜像：解压centos6.5-empty解压双击打开CentOS6.5.vmx如果打不开，在cmd窗口中输入：netshwinsockreset然后重启电脑。进入登录界面，点击other用户名：root密码：root然后右键openinterminal输入ifconfig回车查看ip地址打开xshell点击链接如果有提示，则接受输入用户名：root输入密码：root4.xshell连接虚拟机打开虚拟机，通过ifconfig查看ip5.安装jkd1.解压Linux版本的JDK压缩包mkdir：创建目录的命令rm-rf目录/文件删除目录命令cd目录进入指定目录rz可以上传本地文件到当前的linux目录中（也可以直接将安装包拖到xshell窗口）ls可以查看当前目录中的所有文件tar解压压缩包（Tab键可以自动补齐文件名）pwd可以查看当前路径文档编辑命令:vim文件编辑命令i:进入编辑状态Esc（左上角）：退出编辑状态:wq保存并退出:q!不保存退出mkdir/home/software#按习惯用户自己安装的软件存放到/home/software目录下cd/home/software#进入刚刚创建的目录rz上传jdktar包#利用xshell的rz命令上传文件(如果rz命令不能用，先执行yuminstalllrzsz-y，需要联网)tar-xvfjdk-7u51-linux-x64.tar.gz#解压压缩包2.配置环境变量1）vim/etc/profile2）在尾行添加#setjavaenvironmentJAVA_HOME=/home/software/jdk1.8.0_65JAVA_BIN=/home/software/jdk1.8.0_65/binPATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexportJAVA_HOMEJAVA_BINPATHCLASSPATHEsc退出编辑状态:wq#保存退出注意JAVA_HOME要和自己系统中的jdk目录保持一致，如果是使用的rpm包安装的jdk，安装完之后jdk的根目录为：/usr/java/jdk1.8.0_111，也可以通过命令：rpm-qal|grepjdk来查看目录3）source/etc/profile使更改的配置立即生效4）java-version查看JDK版本信息。如显示版本号则证明成功。6.安装hadoop1.安装配置jdk、关闭防火墙serviceiptablesstop执行该命令可以关闭防火墙，但是如果虚拟机重启的话，防火墙会重新开启。chkconfigiptablesoff执行该命令可以永久关闭防火墙。两个命令配合使用2.修改主机名vim/etc/sysconfig/network以后的Hadoop会有多台主机，因此需要根据主机名来区分这些系统。注意：主机名里不能有下滑线，或者特殊字符#$，不然会找不到主机，从而导致无法启动。这种方式更改主机名需要重启才能永久生效，因为主机名属于内核参数。如果不想重启，可以执行：hostnamehadoop01。但是这种更改是临时的，重启后会恢复原主机名。所以可以结合使用。先修改配置文件，然后执行:hostnamehadoop01。可以达到不重启或重启都是主机名都是同一个的目的3.配置hosts文件vim/etc/hosts修改hosts文件，以后用到IP连接的地方就可以直接使用hadoop01代替IP地址了。4.配置免密码登录ssh-keygen这里只需要回车，无需输入。ssh-copy-idroot@hadoop01想从这台机器免密登录哪个机器，就把公钥文件发送到哪个机器上。5.安装配置jdk（省略）6.上传和解压hadoop安装包过程省略，解压路径为：要记着这个路径，后面的配置要用到。bin目录：命令脚本etc/hadoop:存放hadoop的配置文件lib目录：hadoop运行的依赖jar包sbin目录：启动和关闭hadoop等命令都在这里libexec目录：存放的也是hadoop命令，但一般不常用最常用的就是bin和etc目录7.在hadoop根目录下创建tmp目录mkdirtmp存放Hadoop运行时产生的文件目录8.配置hadoop-env.sh文件cdetc/hadoopvimhadoop-env.sh修改JAVA_HOME路径和HADOOP_CONF_DIR路径，注意路径一定要写对，里面原始的获取系统路径的方式不起作用。(修改两个地方）exportJAVA_HOME=/home/software/jdk1.8.0_65#Thejsvcimplementationtouse.Jsvcisrequiredtorunsecuredatanodes#datatransferprotocolusingnon-privilegedports.#exportJSVC_HOME=${JSVC_HOME}exportHADOOP_CONF_DIR=/home/software/hadoop-2.7.1/etc/hadoop:wq退出sourcehadoop-env.sh让配置立即生效9.修改core-site.xmlvimcore-site.xml在configuration/configuration标签中添加如下代码configurationpropertynamefs.defaultFS/namevaluehdfs://hadoop01:9000/value/propertypropertynamehadoop.tmp.dir/namevalue/home/software/hadoop-2.7.1/tmp/value/property/configuration!--第一个property参数用来指定hdfs的老大，namenode的地址--!--第二个property参数用来指定hadoop运行时产生文件的存放目录--10.修改hdfs-site.xmlvimhdfs-site.xml在configuration/configuration标签中添加如下代码configurationpropertynamedfs.replication/namevalue1/value/propertypropertynamedfs.permissions/namevaluefalse/value/property/configuration!--第一个property参数指定hdfs保存数据副本的数量，包括自己，默认值是3。如果是伪分布模式，此值是1--!--第二个property参数设置hdfs的操作权限，false表示任何用户都可以在hdfs上操作文件--11.修改mapred-site.xmlcpmapred-site.xml.templatemapred-site.xml拷贝模板文件并重命名vimmapred-site.xml在configuration/configuration标签中添加如下代码configurationpropertynamemapreduce.framework.name/namevalueyarn/value/property/configuration!--property参数指定mapreduce运行在yarn上--yarn是Hadoop的资源协调工具。12.修改yarn-site.xmlvimyarn-site.xml在configuration/configuration标签中添加如下代码configuration!--SitespecificYARNconfigurationproperties--propertynameyarn.resourcemanager.hostname/namevaluehadoop01/value/propertypropertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/property/configuration!--第一个property参数用来指定yarn的老大resoucemanager的地址--!--第二个property参数用来指定NodeManager获取数据的方式--13.配置slaves文件vimslaveshadoop0114.配置hadoop的环境变量vim/etc/profile修改配置文件，使hadoop命令可以在任何目录下执行，下面是修改后的代码JAVA_HOME=/home/software/jdk1.8.0_111HADOOP_HOME=/home/software/hadoop-2.7.1JAVA_BIN=/home/software/jdk1.8.0_111/binPATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexportJAVA_HOMEJAVA_BINPATHCLASSPATHHADOOP_HOME加粗的地方都是需要修改的地方，注意PATH多个参数值之间用冒号隔开，所有的参数都在$PATH之前source/etc/profile使配置文件生效15.格式化namenodehadoopnamenode-format中间如果提示是否需要重新格式化，则根据自己的需求输入即可。如果出现successfullyformatted，则表示格式化成功。16.启动分布式文件系统cd/home/softwarecdhadoop-2.7.1/cdsbin进入Hadoop安装目录下的sbin目录，执行：shstart-dfs.sh如果要停止,执行shstop-dfs.sh之后执行jps，如果出现下图则表示执行成功17.HDFS控制台页面通过浏览器访问：ip:50070来查看hdfs系统7、Windows下Eclipse中安装hadoop插件1.下载hadoop插件，注意:插件的版本要和用的hadoop版本保持一致2.将插件jar包放在eclipse安装目录的plugins目录下3.将hadoop安装包放到指定的一个目录（后面要用这个安装目录）3.重启eclipse(配置jdk和compiler查看是否与jdk一致)，window=preferences下发现多出Map/Reduce选项卡，点击=》选择hadoop的安装目录，然后点击apply，点击确定eclipse中配置jdk：然后next4.点击window-showview，调出map/reduce视图6.在map/reduce视图下，点击右下方蓝色的大象，新建hadoop客户端连接7.在下面的选项卡里，填好namenode节点的ip地址，及相应的端口号8.即可链接到hdfs