搜索
hadoop安装1.准备虚拟机：1.1.安装虚拟机：(模拟真实的linux环境)1.1.1.新建1.1.2.填写信息，点击下一步注意：如果看不到，表示虚拟化没开启，需要按照下面步骤开启虚拟化。1）重启机器2）根据机器左下角提示，按f2进入bios3）按左右的按钮选择BIOS4)找到intelvirtualtecnoligy5）由disable改成ENABLED。6）重启。1.1.3.输入1024（内存），因为1024可以图形化界面安装。下一步1.1.4.选择创建，创建虚拟硬盘1.1.5.选择硬盘文件类型，点击下一步1.1.6.选择动态分配，点击下一步1.1.7.输入大小，这里的20G不会真实的分配20G，是动态扩展，点击创建结束到此，虚拟机创建完毕。1.1.8.选择虚拟机，点击设置1.1.9.常规-高级，虚拟机备份位置1.1.10.显示-48M，大一点，否则安装虚拟机的时候会有点卡1.1.11.存储，选择镜像文件1.1.12.点击，选择一个虚拟光盘1.1.13.网卡1、2网卡1：对应linux中的eth0.启用网络连接：选择勾上。连接方式：桥接界面名称：选择网卡信息（可以使本地连接或者无线，在“更改适配器”中能看到名字对应哪个网卡）混杂模式：全部允许。接入网线：选择勾上网卡2：对应linux中的eth1.启用网络连接：选择勾上。连接方式：仅Host-only。界面名称：虚拟网卡的驱动（注意：如果什么都没有，说明你的虚拟网卡没有打开，去“更改适配器”中将禁用的网卡打开）混杂模式：全部允许。接入网线：选择勾上1.1.14.点击确认，虚拟机设置完毕。1.1.15.点击启动注意：如果启动的时候报错：centos：onlyfori686，说明你机器的虚拟技术没开启，按照上面1.1.2的说明修改bios。1.1.16.选择第一项，通过镜像安装1.1.17.测试media，按tab选择，选择跳过1.1.18.选择next1.1.19.选择中文简体，那么接下来的安装过程中为中文，next1.1.20.选择系统语言，next1.1.21.选择“是，忽略所有数据”1.1.22.输入主机名主机名：linux机器的名字。比如，你要安装的这台机器是master，你就可以将主机名命名为master，如果是slave1，就可以是slave1，以此类推。不要按照下图的输入，自己命名。注意：输入完主机名后，不要点击下一步，要先设置网络。1.1.23.配置网络，点击“配置网络”1.1.24.双击Systemeth0，1、“自动连接”勾上2、选择“ipv4设置”3、查看是否是“自动（DHCP）”，如果是，点击“应用”即可。,1.1.25.双击eth11、“自动连接”勾上2、选择“ipv4设置”3、在“方法”中将“自动连接(DHCP)”改为手动。4、点击添加。5、在“地址”：中输入“192.168.56.xxx”，因为你的虚拟网卡的网段是“192.168.56.xxx”，所以你只需要将xxx配制成你想设置的ip即可。这个ip用来客户端工具连接使用。6、在“子网掩码”中输入“255.255.255.0”。7、其他的不用设置，点击应用即可。25、点击网络的关闭，就会出现下面的图，然后下一步，可能活等一会，或者报错，说，eth0有错误，跳过即可，因为你可能连接不上网络。1.1.26.选择上海时区，点击下一步1.1.27.为root用户创建密码（密码可以自定义，最小6位）：hadoop1.1.28.选择“替换现有的linux”点击下一步1.1.29.选择“basicserver”，选择下一步1.1.30.进入安装过程1.1.31.安装完成，重新引导1.1.32.启动系统1.1.33.输入用户名密码root、hadoop进入系统1.1.34.ifconfig，查看网卡信息，并ping虚拟机安装成功，将虚拟机停止关机命令：shutdown–hnow或者直接点x，正常关闭，不要强制退出。1.1.36.修改虚拟机的参数比如：内存、显存修改过后，启动机器，占用资源就会变小。1.1.37.按照上述1.1.1---1.1.36步骤安装集群中的其他机器。1.1.38.虚拟机安装成功。可以安装系统软件,时间较长，可以选择需要的时候在安装。安装的时候用户为root。yum-yinstalllrzsz（上传下载的命令，比如在linux客户端中输入rz就可以上传，如果不安装，可以用客户端工具上传下载，并不影响使用）yum-yupdate（将系统升级，会升级到最新系统，但是非常慢）yum-yinstallgcc（安装c和c++的一些包）yum-yinstallgccmake（安装c和c++的一些包）yum-yinstallkernel（安装内核组件，如果机器已经存在内和组件，此命令会将其升级）yum-yinstallkernel-devel（安装内核组件，如果机器已经存在内和组件，此命令会将其升级）yum–yinstallnc（zookeeper的命令依赖）2.使用客户端工具链接虚拟机操作2.1.有两个工具：SecureSRT：命令行工具。WinSCP:上传下载工具。2.2.使用方法1、双击进入命令行工具2、如果已经过期，在文件最下方，有个说明文件，按照文件中的信息，输入破解信息即可。3、点击下面标红的按钮4、在弹出的窗口中再点击下面的按钮5、在下面的弹出框中选择下一步6、在下图中输入信息如下7、在下图中选择scp，点击下一步8、填写会话名称9、找到你的会话，双击即可10、输入用户root的密码，即可连接3.关闭防火墙防火墙分为两种：iptables和selinux，都关闭。3.1.关闭iptables1、su–root(切换用户)2、临时关闭（不用重启机器）：serviceiptablesstop3、永久关闭：chkconfigiptablesoff4、查看状态chkconfigiptables–list5、如果现实的都是关闭，就可以了。3.2.关闭Selinux：1、临时关闭（不用重启机器）：setenforce0（状态变为permissive即可）2、永久关闭（修改配置文件需要重启机器）：vi/etc/selinux/config将SELINUX=enforcing改为SELINUX=disabled3、查看命令：getenforce结果：状态变为permissive即可4.配置windows和linix机器的域名4.1.修改windows的hosts文件：打开：C:\Windows\System32\drivers\etc\hosts这个文件，将下面内容修改成你自己的ip和域名，并添加到hosts文件中，下面是个事例，你也需要设置好几个ip和域名才对，分别就是你的主和从。其中的ip是56网段的ip，因为56网段是hostonly的，可以随便配置静态ip，客户端连接方便。注意：此处的域名必须和每台机器的机器名相同，机器名的查看方式为在命令行中直接输入hostname命令，即显示机器名。如果不相同，启动时会报错，unknowhostname，如果报错，有两种修改方式，一种是修改/etc/sysconfig/network文件，将文件中的机器名改为此处的域名。第二种方式是修改此处的域名，预计其名相对应。192.168.56.200hadoop1master192.168.56.201hadoop1slave1192.168.56.202hadoop1slave2192.168.56.203hadoop1slave34.2.修改linux的hosts文件，需要每台机器都修改。比如：1、master机器相应的操作如下：1、su–root2、vi/etc/hosts3、添加内容类似于下面的192.168.56.200hadoop1master192.168.56.201hadoop1slave1192.168.56.202hadoop1slave2192.168.56.203hadoop1slave34、添加完内容，按键盘的右上角的“Esc”，退出5、输入“:wq”保存退出即可2、slave1机器相应的操作如下：1、su–root2、vi/etc/hosts3、添加内容类似于下面的192.168.56.200hadoop1master192.168.56.201hadoop1slave1192.168.56.202hadoop1slave2192.168.56.203hadoop1slave34、添加完内容，按键盘的右上角的“Esc”，退出5、输入“:wq”保存退出即可3、slave2同上。5.安装JDK（n台都要装）5.1.切换到root用户：su–root5.2.查看以前是不是安装了openjdk：命令：rpm-qa|grepjava显示如下：（有则卸载，没有就不用）tzdata-java-2013g-1.el6.noarchjava-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_645.3.卸载openjdk：（其中参数“tzdata-java-2013g-1.el6.noarch”为上面查看中显示的结果，站进来就行）rpm-e--nodepstzdata-java-2013g-1.el6.noarchrpm-e--nodepsjava-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64rpm-e--nodepsjava-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_645.4.安装sunjdk：5.4.1.安装jdk1、切换到root用户，如果已经是root用户就不需要切换了命令：su-root2、进入usr目录cd/usr3、在usr目录下创建java文件夹mkdirjava4、将jdk-6u24-linux-i586.bin拷贝到java目录下(用工具)用上传下载工具，从windows中将文件“jdk-6u24-linux-i586.bin”上传到linux的/usr/java下5、进入/usr/java文件夹下cd/usr/java6、修改权限，参数“jdk-6u32-linux-x64.bin”为你自己上传的jdk安装文件，不要复制命令chmod755jdk-6u32-linux-x64.bin7、执行安装./jdk-6u24-linux-i586.bin8、创建快捷方式，参数“/usr/java/jdk1.6.0_32/”为你jdk安装的路径，“/usr/jdk”为你需要创建的jdk快捷方式的路径，此“/usr/jdk”路径需要配置到环境变量。ln-s/usr/java/jdk1.6.0_32//usr/jdk9、配置环境变量vi/etc/profile添加内容：exportJAVA_HOME=/usr/jdkexportPATH=$PATH:$JAVA_HOME/binexportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexportJAVA_HOMEPATHCLASSPATH10、执行下命令source/etc/profile11、其他几台机器，安装前10步的方法同样安装。6.创建hadoop用户和组（用于操作hadoop）groupaddhadoopuseradd-ghadoophadooppasswdhadoop7.安装hadoop7.1.1.上传只需要上传到master机器即可。用工具或命令将hadoop安装文件上传到/home/hadoop文件夹下。传上去之后，用“ll”命令查看一下安装文件的所属用户，如果是属于root的，修改为hadoop用户，命令如下：cd/home/hadoopllchownhadoop:hadoophad