10 OceanBase 0.4.2 操作指南

OceanBase0.4.2操作指南文档版本：Beta02发布日期：2014.04.01支付宝（中国）网络技术有限公司·OceanBase团队前言概述本文档主要介绍OceanBase0.4.2的旁路导、使用DataX导入导出数据、主备集群切换、ChunkServer更换磁盘和rs_admin使用等操作。读者对象本文档主要适用于：安装工程师。数据库管理工程师。通用约定在本文档中可能出现下列各式，它们所代表的含义如下。格式说明警告表示可能导致设备损坏、数据丢失或不可预知的结果。注意表示可能导致设备性能降低、服务不可用。小窍门可以帮助您解决某个问题或节省您的时间。说明表示正文的附加信息，是对正文的强调和补充。宋体表示正文。粗体表示命令行中的关键字（命令中保持不变、必须照输的部分）或者正文中强调的内容。斜体用于变量输入。{a|b|...}表示从两个或多个选项中选取一个。[]表示用“[]”括起来的部分在命令配置时是可选的。修订记录修改记录累积了每次文档更新的说明。最新版本的文档包含以前所有文档版本。版本和发布日期说明Beta02（2014-04-01）第一次发布Beta版本，适用于OceanBase0.4.2。联系我们如果您有任何疑问或是想了解OceanBase的最新开源动态消息，请联系我们：支付宝（中国）网络技术有限公司·OceanBase团队地址：杭州市万塘路18号黄龙时代广场B座；邮编：310099北京市朝阳区东三环中路1号环球金融中心西塔14层；邮编：100020邮箱：[e-mail]新浪微博：技术交流群（阿里旺旺）：853923637目录1旁路导入............................................................................................................................-1-1.1基本信息....................................................................................................................-1-1.2导入前准备................................................................................................................-3-1.2.1获取OceanBase服务器信息..........................................................................-3-1.2.2服务器规划.........................................................................................................-4-1.2.3检查导入环境.....................................................................................................-5-1.3部署Hadoop集群....................................................................................................-5-1.3.1安装前准备.........................................................................................................-5-1.3.2安装Hadoop......................................................................................................-7-1.3.3配置Hadoop......................................................................................................-9-1.4旁路导入配置..........................................................................................................-10-1.4.1配置并启动ImportServer...............................................................................-10-1.4.2配置并启动ProxyServer................................................................................-13-1.4.3配置OceanBase.............................................................................................-14-1.5导入数据..................................................................................................................-15-1.6其他操作..................................................................................................................-16-2DataX导入/导出数据.....................................................................................................-21-2.1基本信息..................................................................................................................-21-2.2部署DataX..............................................................................................................-22-2.2.1安装前检查.......................................................................................................-22-2.2.2安装JDK补丁包..............................................................................................-22-2.2.3创建安装用户...................................................................................................-23-2.2.4安装DataX软件..............................................................................................-23-2.3OceanBase导入/导出............................................................................................-24-3主备集群切换..................................................................................................................-29-4ChunkServer更换磁盘..................................................................................................-32-5rs_admin使用................................................................................................................-34--1-1旁路导入旁路导入OceanBase旁路导入利用Hadoop生成ChunkServer的数据文件进行直接装载，可以加快OceanBase数据批量写入的速度。1.1基本信息本小节介绍了在进行OceanBase旁路导入前，您需要了解的基本信息，包括旁路导入流程、支持格式和注意事项。*旁路导入示意图和流程主要使用的场景如下，其结构示意如图1-1所示：上百G的海量数据导入。导入前的数据不保留。图1-1旁路导入示意图旁路导入各服务说明如下：ImportServer启动在RootServer上，用于发送生成和加载数据的指令。-2-ProxyServer代理服务，启动在ChunkServer上，用于隔离OceanBase和Hadoop，起到中转作用。Hadoop包括HadoopMaster、HadoopSlave和HadoopClient。其中HadoopMaster和HadoopSlave组成Hadoop集群；HadoopClient需要在ImportServer和ProxyServer服务器上部署。旁路导入基本流程如下：1.ImportServer调用mapreduce在Hadoop上生成将指定表的Tablet。2.ImportServer发送指令给RootServer发起加载任务。3.RootServer通过ProxyServer从Hadoop上获取range。4.RootServer发送命令给ChunkServer，使ChunkServer通过ProxyServer获取对应range的Tablet。5.全部range的Tablet加载完毕后，RootServer修改表的tableid，使新数据生效，并删除旧数据。*支持格式旁路导入支持的数据类型为int，varchar，timestamp三种。其中时间格式如下：YYYY-MM-DDhh:mm:ss例如：2014-01-0101:02:03，导入后为“2014-01-0101:02:03”。YYYY-MM-DD例如：2014-01-01，导入后为“2014-01-0100:00:00”。YYYYMMDDhh:mm:ss例如：2014010101:02:03，导入后为“2014-01-0101:02:03”。YYYYMMDDhhmmss例如：20140101010203，导入后为“2014-01-0101:02:03”。YYYYMMDD例如：20140101，导入后为“2014-01-0100:00:00”。*注意事项在进行旁路导入时，需要注意以