光环大数据大数据教程―― Hadoop集群分布式坏境搭建_光环大数据培训

光环大数据--大数据培训知名品牌光环大数据大数据教程——Hadoop集群分布式坏境搭建_光环大数据培训光环大数据大数据培训机构，上一篇我们讲解了hadoop单节点的安装，并且已经通过VMware安装了一台CentOS6.8的Linux系统，咱们本篇的目标就是要配置一个真正的完全分布式的Hadoop集群，闲言少叙，进入本篇的正题。技术准备VMware虚拟机、CentOS6.864bit其实完成这一步之后我们就已经完成了Hadoop集群的搭建的一半的工作了，因为我们知道通过虚拟机搭建所搭建的好处就是直接拷贝机器。多台同步进行操作，减少分别配置的时间消耗浪费。这也是虚拟化技术所带来的优势。下面，咱们进去分布式系统的详细操作过程。1、首先需要在VMWare中将之前创建的单实例的计算机进行拷贝。这里根据之前第一篇文章的规划，我们至少需要再克隆出三台计算机，作为DataNode数据节点的数据存储。之前的上一台机器作为Master主节点进行管理。光环大数据--大数据培训知名品牌这里先来梳理一下整个Hadoop集群的物理架构图，大家有一个直接的观念和认识，上表中已经和明确了，总共需要5台服务器来使用，四台用来搭建Hadoop集群使用，另外一台（可选）作为MySQL等外围管理Hadoop集群来使用。我们在开发的时候一般也是直接通过连接外围的这台机器来管理Hadoop整个集群。根据上面的物理规划图应该对整个架构有一个清晰的认识了，好，咱们进行实操。关于在VMWare中进行虚拟机的拷贝是一个比较简单的过程。截图如下：光环大数据--大数据培训知名品牌然后，就是下一步就行了，这里需要记住的是，一定要选择克隆一个完整的而不是快照。然后，根据计算机名输入机器名就可以了。克隆之后的机器如下：2、配置各个Slave节点的机器信息。关于各个Slave服务器的配置基本分为如下基本部分：光环大数据--大数据培训知名品牌首先需要手动更改各个从节点的计算机名和Hosts文件（必须！）然后配置各个从节点的内存值，在第一篇的文章中我已经分析过了，这里可以将这里的内存值设置的比Master节点少点，（土豪公司忽略！）最后配置的就是存储了，这个自己根据之前的计算公式计算出来就可以了。首先，进入各个机器中更改Hosts文件和计算机名，在上一篇文章我已经介绍过了，大家可以上一篇翻阅，这里直接写出脚本如下：vim/etc/sysconfig/networkvim/etc/hosts计算机名和Hosts配置文件按照之前规划完成就行了，同样网络的IP地址也是按照规划设置成固定的地址。光环大数据--大数据培训知名品牌在配置完这一切之后，重启完各个机器之后，确保各个节点之间可以ping通（重点！！！）。然后剩下的内存配置，直接关闭掉虚拟机，在VMWare中进行设置就可以了，很简单。这里根据需要自行调整，然后如果可以的话，尽量将主节点Master的CUP处理器设置成多路多核，这样设置的原因，我第一篇文章中就已经详细分析过了。光环大数据--大数据培训知名品牌至此，各个服务器的基础配置已经完成了。经过上面一系列流程，大家是不是发现通过虚拟机拷贝这种方式省去了好多额外的配置时间，比如：装操作系统、下载Hadoop安装包、搭建Java环境等。3、配置SSH无密码配置。先来解释下SSH的概念和用途；SSH为SecureShell的缩写，由IETF的网络小组（NetworkWorkingGroup）所制定；SSH为建立在应用层和传输层基础上的安全协议。SSH是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。利用SSH协议可以有效防止远程管理过程中的信息泄露问题。SSH最初是UNIX系统上的一个程序，后来又迅速扩展到其他操作平台。SSH在正确使用时可弥补网络中的漏洞。SSH客户端适用于多种平台。几乎所有UNIX平台—包括HP-UX、Linux、AIX、Solaris、DigitalUNIX、Irix，以及其他平台，都可运行SSH。上面就是SSH的官方含义了，摘自百度百科。光环大数据--大数据培训知名品牌下面，我来总结下SSH在Hadoop集群中的用途。所谓的SSH简单一句话就是：同一用户无密码登录到各台机器。其实，就是所有的Hadoop集群中作为分布式的一个计算框架，需要对各个节点的服务进行操作，而操作的过程中需要统一由一个相同的用户进行操作，但是同一用户登录不同的服务器都需要密码或者密钥进行身份验证。为了避免这个验证过程就使用了统一的一种安全协议：SSH。其实，SSH的原理很简单，就是提前将统一用户的密码进行加密形成密钥进行分发，然后分发到各个服务器中，各个服务器对这个秘钥加入到当前的系统用户组中，这样这个用户登录的时候就不需要输入密码进行登录操作了。希望，我上面的讲解各位看官能看明白里面的含义。下面咱们来实际操作：光环大数据--大数据培训知名品牌首先进行sshd的配置文件的修改，去掉默认注释，开启SSH验证功能（以root用户进行操作）。vim/etc/ssh/sshd_config将上面的这三行数据的注释“#”去掉进行，保存。这里记住了！所有的机器都要这么依次进行设置。简要的解释下上面三行数据的含义：1、第一个RSAAuthentication是指开启SSH验证，2、PubkeyAuthetication是指可以通过公钥进行验证，3、AuthorizedkeysFile则指的的是公钥存放的位置。记住，完成配置之后，重启该服务，脚本如下：/sbin/servicesshdrestart光环大数据--大数据培训知名品牌可以验证下，比如这里我这里直接SSH登录本机系统：sshlocalhost这里可以看到，丫让我输入密码，所以说这里只是开启了SSH验证，但是没有生成密钥，进行设置。加工生成证书公私钥，分发到各个服务器（以Hadoop用户操作）。这个步骤就是上面我分析的过程，我们需要在Master节点上生成Hadoop用户的公钥，然后将这个公钥分发给各个slave节点，然后这样在Master机器上光环大数据--大数据培训知名品牌就可以用Hadoop无密码登录到各个salve机器上面了。步骤如下：ssh-keygen-trsa-P''这里的-P后面‘P’是大写的。上面我用红框勾出的路径就是公钥和私钥生成的默认路径。然后，下一步就是将这个公钥复制到各个slave节点中去、通过以下Linux命令进行远程文件的复制，脚本命令如下：光环大数据--大数据培训知名品牌~/.ssh/id_rsa.pub远程用户名@远程服务器IP:~/我们这里面要复制的公钥文件存在默认的路径“/home/hadoop/.ssh”，所以执行的命令就是scp~/.ssh/id_rsa.pubhadoop@192.168.1.51:~/然后，我们需要登录192.168.1.51的salve01的机器将刚才生成的公钥加入的本地的权限验证组里面去。cat~/id_rsa.pub~/.ssh/authorized_keys光环大数据--大数据培训知名品牌上面的命令是要在Slave01的机器上进行的，并且使用hadoop用户今次那个操作。最后，我们来回到Master机器上面进行，ssh验证。SSH验证的命令很简单，格式如下：SSH远程IP&&域名所以，这里咱们在master机器上登录slave01机器上实验下，看是否还需要进行密码输入。sshslave01.hadoop光环大数据--大数据培训知名品牌通过上面的命令窗口可以看到，我们已经成功的从Master机器上面无密码的登录到Slave01机器上面了。那么说明刚才的配置生效了。参照上面的步骤将各个Slave节点配置完成。这里需要配置的剩下的两个Slave节点进行无密码登录了，详细的操作过程参照上面的流程就可以了，需要的注意的是：在Master生成密钥只需要生成一次就可以了，不要再次生成！因为每次生成以为着所有的节点都需要重新配置。配置完成之后的效果，就是要保证在master机器上面的hadoop用户能够无需密码的登录到各个slave节点上进行操作就可以。光环大数据--大数据培训知名品牌经过上面的操作，已经确保我们的Master机器可以毫无障碍的操作各个子节点Slave了。参照上面的步骤将各个Slave节点SSH到Master机器。我们知道，经过上面的一系列操作之后，我们的Master主节点可以顺利的操控各个Slave节点了，但是，这里需要注意的是，为了保证各个Slave机器和Master机器进行通信。需要保证各个Slave节点能够无密码登录Master机器，操作步骤如上面。这么操作的理由很简单，各个Slave子节点干完Master分配的任务之后，需要有权限反馈至他们的老大Master!为什么大家选择光环大数据！大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、光环大数据--大数据培训知名品牌数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。【报名方式、详情咨询】光环大数据官方网站报名：手机报名链接：