Greenplum_安装指南Linux

Greenplum安装(Linux版)2008年12月Copyright©2008Greenplum版权保留所有的权利修订说明创建日期：2008年12月28日创建人：王玉森批准日期：批准人：第1次修订日期：修订人：第2次修订日期：修订人：第3次修订日期：修订人：第4次修订日期：修订人：i目录第1章配置要求与环境设置...................................................................................................11.1Greenplum数据引擎的基本架构................................................................................11.2硬件配置要求...............................................................................................................11.3系统环境设置...............................................................................................................31.3.1Linux操作系统级参数....................................................................................31.3.2用户及其主目录...............................................................................................41.3.3网络配置...........................................................................................................41.3.4磁盘阵列及文件系统.......................................................................................71.3.5客户端安全.......................................................................................................8第2章Linux环境安装指南....................................................................................................92.1总体安装步骤...............................................................................................................92.2在Master主机安装GreenplumDatabase.................................................................102.3在Master主机配置....................................................................................................102.4在区段服务器安装Greenplum数据库.....................................................................122.4.1对区段服务器逐台安装.................................................................................122.4.2通过Master主机安装区段服务器................................................................132.5Greenplum系统初始化..............................................................................................172.5.1初始化前同步系统时钟.................................................................................172.5.2初始化准备工作.............................................................................................182.5.3进行初始化.....................................................................................................21第3章Greenplum的起停操作..............................................................................................22第4章Greenplum测试..........................................................................................................234.1数据加载测试情况.....................................................................................................234.1.1外部表建立语句.............................................................................................234.1.2Sales表建立语句...........................................................................................234.1.3Sales数据加载测试.......................................................................................23第1页第1章配置要求与环境设置1.1Greenplum数据引擎的基本架构Greenplum数据引擎由Master主机和Segment主机组成，如下图所示：Segment主机负责存储和存取用户数据，根据用户数据量可以达到几十台。根据Segment主机CPU的内核数量，数据的存储和存取又分为和内核数量相等的若干Segment。Segment主机之间，以及与Master主机之间通信，通过千兆Ethernet组成的InterConnect连接，同一Segment主机上通信端口被分配给不同的Segment，Segment使用分配的通信子网与其它Segment主机进行通信。1.2硬件配置要求第2页Greenplum配置，要求至少有如下配置：一台Master主机、两台Segment主机、一个千兆光纤Ethernet交换机、一个百兆Ethernet交换机，如下图所示：具体到Master主机和Segment主机的配置可以参考Dell的配置，如下：Greenplum基于Dell服务器的配置1Master主机一台或两台Dell2950每台Dell29502x4core32GBMem2Segment主机两套以上Dell2950+MD10002.1每台Dell29502x4core32GBMem2.2每台MD1000每Segment磁盘空间8.79TB每Segment用户数据空间2.93TB磁盘大小（数量）300GB(x15)磁盘转速15Krpm第3页3一台千兆以太网交换机1.3系统环境设置系统环境的设置，主要包括以下几个方面：Linux操作系统级参数用户及其主目录网络配置磁盘阵列及文件系统客户端安全1.3.1Linux操作系统级参数要调整的Linux操作系统能够级参数并不很多，主要是可能影响到Greenplum的打开文件、网络传输性能的参数，主要集中在两个配置文件中。这些参数调整完成后，需要重新启动系统（建议全部调整完成后启动一次）。Greenplum每台Master和Segment主机/etc/sysctl.conf中的下列参数kernel.shmmax=500000000kernel.shmmni=4096kernel.shmall=4000000000kernel.sem=25064000100512net.ipv4.tcp_tw_recycle=1net.ipv4.tcp_max_syn_backlog=4096第4页net.core.netdev_max_backlog=10000vm.overcommit_memory=2Greenplum每台Master和Segment主机/etc/security/limits.conf中的如下参数：*softnofile65536*hardnofile65536*softnproc131072*hardnproc1310721.3.2用户及其主目录在每台Master和Segment主机上，包括两个组用户（gpadmin、gpmon）和两个用户（gpadmin、gpmon）groupaddgpadmingroupaddgpmonuseradd-ggpadmin-m-d/export/home/gpadmin-s/bin/bashgpadminuseradd-ggpmon-m-d/export/home/gpmon-s/bin/bashgpmongpadmin作为后续Greenplum运行的主要组/用户，以root用户安装的程序目录、建立的数据目录等，都需要把Owner移交给Greenplum。例如：chown-Rgpadmin:gpadmin/data/*/usr/local/greenplum-db*1.3.3网络配置Greenplum作为一种MPP架构的数据仓库平台，其网络至少有两部分组成：一个是各个Master主机、Segment主机之间在进行数据库处理时内部的通信网第5页络，Greenplum采用基于千兆光纤Ethernet的InterConnect解决方案；另一个是终端业务用户访问Greenplum时和Greenplum之间的通信网络，采用公司的百兆局域网即可。如下图所示，三台由两个双核CPU、12个硬盘、4个千兆光纤Ethernet端口（Master主机多两个百兆Ethernet口）的服务器组成的Greenplum平台：注意：其中的网卡名称、IP地址仅作为示例，具体案例中请根据客户整体的网络规划确定。对于上图示例中的配置，对于Greenplum各个主机的网络配置可以用下表所示的配置，在规划自己的安装前可以参考。MasterSegment1Segment2对外NICnge0:1e1000g0:1e1000g0:1对外Hostrlmdwrlsdw1rlsdw2对外IP10.20.20.19010.20.20.19210.20.2