intel-hadoop-2.2-new-guide

英特尔®Hadoop发行版版本2.2新手指南目录Contents1.简介.........................................................................................................................11.1文档目的......................................................................................................11.2产品简介......................................................................................................11.3集群结构......................................................................................................21.4构造集群的主要步骤..................................................................................22.系统要求.................................................................................................................42.1硬件要求......................................................................................................42.2软件要求......................................................................................................52.3网络要求......................................................................................................52.3.1链路聚合......................................................................................................53.规划Hadoop集群.................................................................................................74.对集群中所有节点进行操作系统安装.................................................................84.1安装操作系统..............................................................................................84.2磁盘分区......................................................................................................85.在管理节点安装英特尔®Hadoop发行版........................................................106.集群配置...............................................................................................................126.1登录并接受用户许可协议........................................................................126.2集群安装配置向导....................................................................................126.3输入许可证................................................................................................256.4配置节点....................................................................................................266.5启动集群....................................................................................................286.6手动配置部分组件....................................................................................321.简介11.简介1.1文档目的本文档用于指导英特尔®Hadoop发行版初级用户安装、部署、验证和开始使用英特尔®Hadoop发行版。1.2产品简介英特尔®Hadoop发行版供给客户稳定可靠易用的HDFS、HBase和MapReduce框架商业版本。具体套件及其特点如表1.1所示。商业套件功能和特点分布式协同工作系统(Zookeeper)高效的选举算法确保分布式系统一致性保证集群数据及配置同步实现统一命名服务分布式文件系统(HDFS)可自我修复的高带宽集群文件存储系统高可扩展性，无需停机无缝动态扩容高容错性，数据自动复制和校验改进的可靠性和扩展性分布式数据库(HBase)分布式、面向列、多维度的数据库系统。数据自动切分和分布存储高可扩展性，无宕机线性扩容高性能并发读写分布式计算框架(Map/Reduce)高度并行和可扩展的分布式批处理计算框架高容错能力，支持任务自动迁移和重试公平调度算法，支持任务抢占，兼顾长短任务调度任务到最近的数据节点，有效降低网络带宽灵活的资源分配和调度，达到资源利用最大化分布式数据仓库(Hive)高性能分布式海量数据仓库强大的查询与分析功能类SQL查询语言表1.1英特尔®Hadoop发行版提供商业套件的功能和特点1.简介21.3集群结构集群由管理节点、Hadoop集群以及客户端组成。图1.1描述了集群的结构。Hadoop集群HDFSMapReduceHBaseHive……管理节点Hive节点1节点2节点3节点N……HDFS客户端MapReduce客户端HBase客户端Hive客户端……图1.1集群结构客户端包括HDFS客户端，MapReduce客户端，HBase客户端，Hive客户端等。这些客户端能被运行在一个或多个服务器上。Hadoop集群拥有的组件包括Zookeeper,HDFS,MapReduce,HBase,Hive等。这些组件需要一个以上的服务器以实现其功能。而每一个服务器可以运行一个或一个以上组件服务。管理节点能够监视和管理Hadoop集群和客户端。1.4构造集群的主要步骤创建一个集群前，首先必须保证将用于构造集群的服务器满足一些要求。这些要求包括硬件要求、软件要求以及网络要求。第二章将对这些要求进行详细介绍。满足了这些要求后，就要做好相关的构造Hadoop集群的规划。第三章介绍了在系统安装前必须做好的规划。规划Hadoop集群后，就可以开始进行系统安装了。系统安装包括以下步骤：1．正确配置所有节点的RAID。2．在集群中所有的节点（包括管理节点及Hadoop集群中所有的节点）上安装所需要的操作系统。这将在第四章中进行介绍。3．在管理节点上安装英特尔®Hadoop发行版。第五章将对此进行详细介绍。4．使用管理节点上的Web用户界面——Intel®ManagerforApacheHadoop——来把所有的节点加到集群中、对这些节点部署相关软件和配置，并运行1.简介3服务。第六章将给出相关的详细步骤。图1.2描述了构造一个集群的主要步骤。确保用于构建集群的所有的服务器满足集群节点要求(包括硬件要求、软件要求和网络要求。第二章将对此进行详细介绍)做好构造Hadoop集群的规划(于第三章进行介绍)在集群中的所有节点上安装需要的操作系统(于第四章进行介绍)在管理服务器上安装英特尔Hadoop发行版(于第五章进行介绍)使用Intel®ManagerforApacheHadoop配置节点(于第六章进行详细介绍)进行系统安装正确配置所有节点的RAID图1.2构造一个集群的主要步骤。2.系统要求42.系统要求本章介绍了集群中不同节点必须满足的硬件要求、软件要求和网络要求。2.1硬件要求服务器运行英特尔®Hadoop发行版至少需要英特尔®至强处理器，推荐使用双路4核英特尔®处理器。服务器运行英特尔®Hadoop发行版的最低内存要求为16GB内存。在此基础上，不同服务器角色和服务类型有着各自的内存要求，如表2.1所示。推荐内存配置是针对服务器上运行的服务种类，对表2.1中的相关内存要求进行叠加。服务器角色及服务类型内存要求管理节点8GBHadoop集群:MapReduceJobTracker2GBMapReduceTaskTracker2GBMapReduceSlotsonTaskTracker512MB*slot数量HDFSNameNode16GBHDFSSecondaryNameNode16GBHDFSDataNode2GBZooKeeper4GBHBaseMasterServer2GBHBaseRegionServer16GBHiveServer2GB客户端8GB表2.1基于服务器角色及服务类型的运行英特尔®Hadoop发行版内存要求用户可以通过简单地叠加相应服务需要的内存要求来计算推荐的内存要求。比如一个服务器计划运行如下服务：HDFSDataNode,MapReduceTaskTracker和HBaseRegionServer。同时计划的slot数量（包括mapslots和reduceslots）为16。这样，对于这个服务器的推荐内存为：2GB+2GB+512MB*16+16GB=28GB.对于所有集群中的服务器（除了主命名节点和从命名节点），推荐在物理硬盘中不要使用RAID。但在RAID无法被移除的情况下，每一个物理硬盘可以被2.系统要求5设为一个单独的RAID0。例子：IBM服务器LSIMegaRaid的RAID设置首先，每个物理硬盘应该被指定为一个DriveGroup然后，每个DriveGroup应该被指定为一个Span最后，每个Span应该被制定为一个基于RAID0的一个VirtualDrive对于主命名节点和从命名节点，推荐在命名节点数据目录所在的分区使用RAID1或RAID5。2.2软件要求本节介绍安装英特尔®Hadoop发行版所需要的软件环境。支持的操作系统包括：1.RedHatEnterpriseLinux52.RedHatEnterpriseLinux6OS3.OracleEnterpriseLinux64.CentOS5、CentOS65.SUSE*LinuxEnterpriseServer116.Debian*GNU/Linuxversion5.07.Ubuntu*Lucid在把服