搜索
Kettle的使用方法Kettle的使用方法介绍讲解员:隗功庆1.Kettle概念Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。Kettle中文名称叫水壶，该项目的主程序员MATT希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。2.Kettle组件介绍与使用2.1Kettle的使用Kettle提供了资源库的方式来整合所有的工作，；1）创建一个新的transformation，点击保存到本地路径，例如保存到D:/etltest下，保存文件名为Trans，kettle默认transformation文件保存后后缀名为ktr；2）创建一个新的job，点击保存到本地路径，例如保存到D:/etltest下，保存文件名为Job，kettle默认job文件保存后后缀名为kjb；2.2组件树介绍Transformation(转型)的主对象树和核心对象分别如下图：Transformation（转型）中的节点介绍如下：MainTree：菜单列出的是一个transformation中基本的属性，可以通过各个节点来查看。DB连接：显示当前transformation中的数据库连接，每一个transformation的数据库连接都需要单独配置。Steps：一个transformation中应用到的环节列表Hops：一个transformation中应用到的节点连接列表核心对象菜单列出的是transformation中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添加：核心对象菜单列出的是transformation中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添加：Input：输入环节Output：输出环节Lookup：查询环节Transform：转化环节Joins：连接环节Scripting：脚本环节2.2Job的主对象树和核心对象分别如下图：DB连接：显示当前Job中的数据库连接，每一个Job的数据库连接都需要单独配置。Jobentries/作业项目：一个Job中引用的环节列表核心对象菜单列出的是Job中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添加。每一个环节可以通过鼠标拖动来将环节添加到主窗口中。并可通过shift+鼠标拖动，实现环节之间的连接。3.kettle使用举例3.1建立转换选中列表中的的“表输入”、“表输出”、“插入/更新”，拖拽到右侧工作区。鼠标选中节点键盘按shift键，拖拽即可连线。下图是一个转换，有两个动作，一是直接从数据源表同步数据到目标表，一是检查源表的插入和更新，同步到目标表。黑色线为生效，灰色线为失效，节点和连接可双击进行编辑双击表输入可预览数据是否正确。双击编辑表输出如下:要获取的字段设置如下所示：点击输入字段映射进行字段选择。选择要用的字段后点确定，注意字段的约束条件。编辑好后点击上面的执行即可。执行完成后可观看下方的日志双击编辑“插入/更新”动作。然后点击确定执行前，在源库里加条新纪录。确定作业执行正常后可以保存作业。