云计算开发平台安装配置手册(Linux单机伪集群分册)

产品ID密级FocusHadoop中产品版本页数1.0.015云计算开发平台安装配置手册Linux单机伪集群分册二零一一年九月云计算开发平台安装配置手册Linux单机伪集群分册目录1.综述__________________________________________________________41.1.依据____________________________________________________________41.2.目的____________________________________________________________41.3.范围____________________________________________________________41.4.术语____________________________________________________________42.安装环境______________________________________________________53.安装准备______________________________________________________64.安装JDK_______________________________________________________75.安装hadoop___________________________________________________76.安装hbase服务_______________________________________________137.安装xdat服务_________________________________________________197.1.修改xdata的配置文件___________________________________________198.安装solr服务_________________________________________________289.安装LZO压缩模块_____________________________________________299.1.标准安装_______________________________________________________299.2.测试LZO压缩解压_______________________________________________329.3.如果安装后的lib包有问题不能用执行以下步骤补救__________________33云计算开发平台安装配置手册Linux单机伪集群分册修订记录日期修订版本描述编撰人2011-09-200.0.1Linux单机伪集群分册刘学2011-10-130.0.2增加安装hbase内容邹跃2011-10-180.0.3调整文档部分结构。xdata-xdata概念转变刘学2011-10-190.0.4增加LZO压缩模块安装刘学2011-10-200.0.5修改xdata安装文档目录结构刘学2011-12-090.0.6修改其中错误的地方罗亮2011-12-090.0.7增加solr单机模式安装邹跃2011-12-290.1.0重构文档罗亮2012-1-40.1.1增加第24步创建符号链接康华星云计算开发平台安装配置手册Linux单机伪集群分册1.综述1.1.依据本文档依赖于Apache组织hadoop开源项目的相关资料与文档以及各种网络收集的经过整理的资料。1.2.目的本文档将指导IT工程人员在单台Linux服务器上安装配置单节点的伪集群服务。1.3.范围本文档将指导如何获取安装文件构建安装目录、安装JDK、安装hadoop服务、配置云计算实验平台服务平台、HDFS测试、MapReduce测试等。1.4.术语HadoopCygwinEclipesXdata定义在云计算技术基础上的数据应用解决方案产品，适应各种未知数据模型，具备很好的数据应用模式的延展性。LZOLZO是一个美妙与Hadoop的使用的压缩方案，因为它的速度非常快，支持splittable(可分块)。Gzip很快，但不能利用Hadoop的自然地图的优势分裂，因为这是不可能的，开始一个随机文件中的偏移量开始解压缩GZIP流的。LZO的块格式能够在解压缩文件的某些特定的偏移执行解压——在新的LZO块边界开始。LZO除了支持解压，这个类（com.hadoop.compression.lzo.LzoIndexer）提供了一个进程中的索引器以及Map-Reduce风格索引器，它将读取一组LZO文件，将输出的LZO块边界偏移量与Hadoop文件块边界自然融合。这使得大量的LZO文件分割成多个映射器和并行处理。压缩，因为它是从磁盘读取的数据较少，最大限度地减少所需的IOPS数。和lzo减压是如此之快，CPU保持领先磁盘中读取的，所以不必解压缩，因为它的读取磁盘数据，也没有性能的影响。Gzip某种压缩格式，速度快，但是不支持压缩分块。云计算开发平台安装配置手册Linux单机伪集群分册2.安装环境硬件环境CPU：无特殊要求内存：无特殊要求硬盘：无特殊要求软件环境操作系统：Linux浏览器：目前只支持IE6.0和IE7.0云计算开发平台安装配置手册Linux单机伪集群分册第6页，共31页3.安装准备步骤1获取安装包安装文件安装包目录如下，如果缺省的安装包下面缺少对应的内容需要通过他人沟通获取：目录结构说明.././/bin../hadoop/config/lib/log/setup../hadoop-0.20.203.0rc1.tarema_mysql.sqljdk-6u10-linux-i586.binjdk-6u10-linux-x64.binmysql-5.0.67-linux-i686.tar.gz/mysql..//bin../mysqlaccessmysqld_safemy.conf/hadoop../conf/tomcat..//conf/webapps../emahadoop可执行文件执行目录启动脚本（里面RUN_USER配置hadoop）配置目录（缺省配置在里面）软件包目录日志目录安装用临时文件夹，包括安装需要的软件包最新的hadoop平台安装包mysql数据库脚本Jdk1.6x32位版本Jdk1.6x64位版本Mysql数据库软件包mysql数据库替换文件hadoop缺省配置目录setup中解压的tar.gz文件要放在这里放了hadoop服务缺省的4个配置文件WEB服务器软件目录配置目录只需要修改server.xml界面应用程序发布在这里基础界面框架实验平台代码检查安装包目录是否完整。步骤2拷贝安装包安装文件到安装目录云计算开发平台安装配置手册Linux单机伪集群分册第7页，共31页将上述目录中所有内容文件拷贝到机器的/xdata目录注：如未说使用何种用户进行的操作默认为root用户步骤3创建安装所需要的用户与用户组以root用户登录服务器，在命令行下输入：#groupaddxdata#useradd-gxdataxdata#passwdxdata//输入新的用户名密码Changingpasswordforuserxdata.NewUNIXpassword:BADPASSWORD:itisbasedonadictionarywordRetypenewUNIXpassword:passwd:allauthenticationtokensupdatedsuccessfully.4.安装JDK步骤4解压jdk软件包#chmod755/xdata/setup/*.*#cd/xdata/setup#./jdk-6u10-linux-i586.bin步骤5建立jdk的符号链接#ln-s/xdata/setup/jdk1.6.0_10/xdata/jdk如果服务器上已经安装有JDK直接做符号链接#ln-s/*/jdk*/xdata/jdk5.安装hadoop步骤6解压hadoop安装包#cd/xdata/setup#gunzip/xdata/setup/hadoop2011-0.20.203.0rc1.tar.gz|tarxvf–步骤7建立符号链接#ln–s/xdata/setup/hadoop-0.20.203.0/xdata/hadoop//也可以直接将解压后剪切到/xdata目录并重命名为hadoop步骤8修改SSH配置允许授权免密码登录#vi/etc/ssh/sshd_config修改内容如下#RSAAuthenticationno云计算开发平台安装配置手册Linux单机伪集群分册第8页，共31页#PubkeyAuthenticationno#AuthorizedKeysFile.ssh/authorized_keys改为如下：RSAAuthenticationyesPubkeyAuthenticationyesAuthorizedKeysFile.ssh/authorized_keys让配置生效#sudo/etc/init.d/sshdreload或者#servicesshrestart步骤9免密码ssh设置方法一登陆slave服务器使用xdata用户#su-xdata#ssh-keygen-trsa//生成xdata密钥，使用xdata用户执行复制id_dsa.pub文件为authorized询问保存路径时直接回车采用默认路径提示要为生成的密钥输入passphrase的时，直接回车，将其设定为空密码生成的密钥对id_rsa，id_rsa.pub，默认存储在/home/xdata/.ssh目录下。cd/home/xdata/.ssh#catid_rsa.pubauthorized_keys配置authorized_keys文件权限$chmod600authorized_keys验证$sshlocalhost使用xdata用户执行步骤10改变系统工作目录权限给xdata#chgrp-Rxdata/xdata#chown-Rxdata/xdata步骤11配置$HADOOP_HOME/conf/hadoop-env.sh切换到Hadoop的安装路径找到hadoop/conf/hadoop-env.sh文件，使用vi或离线方法打开将#vi/xdata/hadoop/conf/hadoop-env.sh#exportJAVA_HOME=/usr/lib/j2sdk1.5-sun改为云计算开发平台安装配置手册Linux单机伪集群分册第9页，共31页exportJAVA_HOME=/usr/java/jdk1.6.0_16///usr/java/jdk1.6.0_16表示jdk存放的路径，若是其他路径，要做相应修改步骤12配置$HADOOP_HOME/conf/core-site.xml切换到Hadoop的安装路径找到conf/core-site.xml文件，使用vi或离线方法打开将#vi/xdata/hadoop/conf/core-site.xml//粗体部分根据自身情况修改?xmlversion=1.0??xml-stylesheettype=text/xslhref=configuration.xsl?!--Putsite-specificpropertyoverridesinthisfile.--configurationpropertynamefs.default.name/namevaluehdfs://master:51600/value/propertypropertynamehadoop.tmp.dir/namevalue/xdata/hadoop/tmp/value/property/configurationhdfs:/