搜索
在CentOS6.5环境下安装CDH5.1关于CDH和ClouderaManagerCDH(Cloudera'sDistribution,includingApacheHadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的ApacheHadoop构建，并集成了很多补丁，可直接用于生产环境。ClouderaManager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。1.安装方案及节点规划NameNode和ResourceManager是两个独立的功能单元，二者可以集中部署，亦可分布式部署。由于测试环境有限，把NameNode和ResourceManager部署到一起。主机IP角色需要的程序备注n1192.168.116.133Namenode/DatanodeJournalNode、NameNode、DFSZKFailoverController、DataNode、NodeManagerNamenode主备n2192.168.116.134Namenode/DatanodeJournalNode、NameNode、DFSZKFailoverController、DataNode、NodeManagerNamenode主备n3192.168.116.135DatanodeDatanode、NodeManager-主机IP角色需要的程序备注n1192.168.116.133ResourceManagerResourceManagerRM主备n3192.168.116.135ResourceManagerResourceManagerRM主备n1192.168.116.133JobHistoryServerJobHistoryServer-注意：如果使用VMWare虚拟机安装Linux，需要使用NAT模式，并将虚拟机的IP地址指定好，否则在不同的网络环境下IP可能会发生变化，导致无法使用，但是NAT模式无法与外界的局域网通信，所以如果是在服务器上虚拟化的使用场景，必须使用更复杂的桥接模式，详情参考[]2.安装准备2.1修改主机名对集群内的节点规划不同的主机名查看主机名的命令hostname临时修改主机名的命令hostnamenew_hostname临时修改主机名只有当前有效，重启后即取消，如果要彻底修改主机名，需要修改配置文件vi/etc/sysconfig/network修改HOSTNAMENETWORKING=yesHOSTNAME=n1然后重启网络servicenetworkrestart最后修改hosts文件，增加ip与hostname的对应关系vi/etc/sysconfig/hosts增加ip与hostname的对应关系192.168.116.133n1n1.localdomain192.168.116.134n2n2.localdomain192.168.116.135n3n3.localdomain注意：这里必须是三个，即nn.localdomain不可或缺，否则后面的hdfs配置会出问题2.2防火墙配置防火墙配置，关闭每个节点的selinux/iptables(用root用户执行)1.关闭iptablesserviceiptablesstop#停止服务chkconfig--deliptables#关闭服务自动重启1.关闭selinux修改/etc/selinux/configvi/etc/selinux/configSELINUX=disabled2.3配置SSH**注意：CentOS6.5环境下需要先[安装SSH服务]在主节点上执行以下命令，生成无密码的密钥对。ssh-keygen-trsa一路回车即可，然后将公钥添加到认证文件中cat~/.ssh/id_rsa.pub~/.ssh/authorized_keys然后并设置authorized_keys的访问权限chmod600~/.ssh/authorized_keys最后将scp文件到所有datenode节点scp~/.ssh/authorized_keysroot@n2:~/.ssh/测试：在主节点上sshn2，正常情况下，不需要密码就能直接登陆进去了。2.4安装JDK注意：这里一定要安装JDK，而且最好在1.7版本以上，CentOS中自带的是JRE，不是JDK，不安装JDK的话Sqoop无法使用。另外Spark需要JDK1.7版本以上，可以考虑直接安装最新的JDK1.8。2.5配置hosts把集群中的各个节点配置到每个节点的/etc/hosts中。192.168.116.133n1192.168.116.134n2192.168.116.135n3注意：要把hosts文件中的自环(类似下表)删掉，否则在配置ResourceManangerHA时，不能访问RM页面。127.0.0.1localhostlocalhost.localdomainlocalhostlocalhost.localdomain.localdomainlocalhostlocalhost.localdomain4localhostlocalhost.localdomain4.localdomain4::1localhostlocalhost.localdomainlocalhostlocalhost.localdomain.localdomainlocalhostlocalhost.localdomain6localhostlocalhost.localdomain6.localdomain62.6时间同步在新的版本中引入了信令机制，在启动容器时会进行校验。集群中的各个节点必须时间同步，节点间的时间差不能超过10分钟，否则执行MapReduce任务时报错。2.7获取安装包CDH5.1版本RPM安装包下载地址：[]。下载zookeeper，Hadoop，hive，sqoop的安装包。noarch文件下存放的是与系统架构无关的软件包，x86_64路径下是64位系统的安装包。3.安装Zookeeper3.1Zookeeper安装在每个节点上执行安装命令，zookeeper依赖bigtop-utils。rpm-ivhzookeeper-*.rpmbigtop-utils*.rpm--nodeps--forcezookeeper安装路径：/etc/default/zookeeper/etc/zookeeper/var/lib/zookeeper/var/run/zookeeper/var/log/zookeeper---日志文件路径/usr/share/doc/zookeeper-3.4.5+26/api/org/apache/zookeeper/usr/lib/zookeeper---安装路径3.2Zookeeper配置1.配置zoo.cfg在每个zookeeper节点中修改/etc/zookeeper/conf/zoo.cfg文件。tickTime=2000dataDir=/var/lib/zookeeperclientPort=2181initLimit=5syncLimit=2#server.id=host:port:portserver.1=n1:2888:3888server.2=n2:2888:3888server.3=n3:2888:3888说明：第一个port用于各个zookeeper节点之间通信，第二个port用于产生zookeeper集群的leader。id必须与myid一致，否则不能启动zookeeper。3.3启动Zookeeper1.初始化2.第一次运行zookeeper需要初始化，并指定myid。后续运行则不再执行该操作。servicezookeeper-serverinit--myid=31.启动zookeeper在每个节点上执行servicezookeeper-serverstart说明：最先启动的几个节点输出如下警告信息，这是因为其他节点的zookeeper未启动。等所有节点全部启动后就会正常。2014-08-0104:11:58,585[myid:1]-WARN[WorkerSender[myid=1]:QuorumCnxManager@368]-Cannotopenchannelto2atelectionaddressdw001/10.6.91.101:3888java.net.ConnectException:拒绝连接atjava.net.PlainSocketImpl.socketConnect(NativeMethod)atjava.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:339)atjava.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:200)atjava.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:182)atjava.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)启动的其他的方式：/usr/lib/zookeeper/bin/zkServer.shstart3.4验证安装1.检查zookeeper的脚本查看启动状态，包括各个节点的角色。/usr/lib/zookeeper/bin/zkServer.shstatus或如果用service方法启动zookeeper，则上面的验证方法失效，可用下面的方法。echostat|nc'hostname'2181输出JMXenabledbydefaultUsingconfig:/usr/lib/zookeeper/bin/../conf/zoo.cfgMode:leader1.通过客户端脚本，连接到ZooKeeper集群上。对于客户端来说，ZooKeeper是一个整体（ensemble），连接到ZooKeeper集群实际上感觉在独享整个集群的服务，所以可以在任何一个结点上建立到服务集群的连接。cd/usr/lib/zookeeper/bin./zkCli.sh-servern1:21814.安装Hadoop4.1安装把Hadoop的RPM安装包上传到节点，执行安装命令。在所有节点上执行。rpm-ivhnc-*.rpmavro-libs-*.rpmbigtop-jsvc-*.rpmbigtop-tomcat-*.rpmparquet-*.rpmhadoop-0.20-mapreduce-2.3.0+*.rpmhadoop-2.3.0+*.rpmhadoop-client-*.rpmhadoop-debuginfo-*.rpmhadoop-doc-*.rpmhadoop-hdfs-2.3.0*.rpmhadoop-hdfs-datanode-*.rpmhadoop-hdfs-journalnode-*.rpmhadoop-hdfs-namenode-*.rpmhadoop-hdfs-zkfc-*.rpmhadoop-httpfs-*.rpmhadoop-libhdfs-*.rpmhadoop-mapreduce-*.rpmhadoop-yarn-*.rpm--nodeps--force4.2配置SSH必须正确安装和配置ssh，否则namenode主备切换将失败！路径还必须与hdfs-site中配置的ssh私钥路径一致。安装CDH时，会新建用户hdfs，mapred和用