搜索
经验总结Control-M任务调度示例1Control-M任务调度示例2012-6-21陈鹏一、目的为了解Control-M软件的调度功能的基本操作步骤，了解能够满足数据下载平台的作业需要，需要设计并设置一个数据下载平台的日常作业，查看作业能否达到业务需求，并且能够成功执行完毕。二、示例设计我们拿一个最普通的数据下载平台的日常作业来设计这个示例，通常的数据下载平台最常用的作业就是ETL，也就是先从源数据库抽取数据变成文件（E-提取的过程），然后利用数据清洗和转换技术更改文件中的数据（T-转换的过程），最后把处理过的数据再加载进目标数据库（L-加载的过程）。那么我们利用抽象并且刨除一些专业的处理流程，并且加入一些基本的业务逻辑，得到这样一个模拟的银行业的数据下载平台的简单过程：1、从源数据库的两个源表（客户存款表、机构表）抽取加工数据到机构存款表；2、从机构存款表中分别下载数据和标准到两个文件中；3、转移这两个文件到目标路径；4、清理中转表中的数据；5、从目标路径的数据和标准文件加载数据进目标数据库。我们根据上面的过程设计了6个job，形成一个工作流，在Control-M工具中配置好各个job的依赖和触发关系，job就会按照设置的触发依赖条件执行。以下是每个job的基本任务以及job之间的触发依赖关系：1、job1调用存储过程的一个脚本，此过程会加工数据到机构存款表；2、job2把机构存款表中数据导入文件，job3设置导入文件的格式，job1完成后会触发job2和job3并发进行；3、job4清空机构存款表数据，job2和job3都完成触发job4；4、job5转移文件到目标路径，job4完成后触发job5；5、job6从目标路径的数据和标准文件加载数据进目标数据库，整个工作流完成；说明：由于元数据库和目标库是一个库并且卸载数据的表和加载数据的表是同一张表，所以才有清空表job4的作业。三、操作步骤（一）配置作业如图（一）：经验总结Control-M任务调度示例2图（一）（二）点击Conditions按钮设置job之间的依赖触发关系，下面以job2、job3、job4说明job之间的依赖触发关系：设置job2、job3执行完成后的OUTConditions分别为：job2ok、job3ok，并且把job2、job3的OUTConditions作为job4的INConditions,并且设置job2和job3都执行完成后才执行job4，此时设置job4的INConditions类型为ANDbetweenallconditions如图（二），且job4的OUTConditions为job4ok以触发job5，其配置如图（三）经验总结Control-M任务调度示例3图（二）图（三）经验总结Control-M任务调度示例4(三)依次完成需要配置的作业以及依赖关系，点击save就会生成工作流如图（四）：图（四）（四）在工具栏点击writejobstoCONTROL-M/EM按钮如图（四）点击“write”按钮将jobs写入EM图（四）（五）右键工作流点击orderjob如图经验总结Control-M任务调度示例5图（五）（六）打开CONTROL-M/E监控界面，对作业流进行监控如图(六），当所有任务条颜色变成绿色说明所有job执行完成。经验总结Control-M任务调度示例6图（六）(七)连接数据库，查询目标表，查看数据是否导入目标表，导入成功，测试通过，如图（七）。经验总结Control-M任务调度示例7图（七）四、结论使用Control-M软件可以正常并且成功的执行数据下载平台的简单作业，那么就可以扩展完成更为复杂的作业、作业流、乃至于更大的业务逻辑。而且它能够灵活的配置作业与作业之间的关系来达到复杂的业务逻辑，所以使用Control-M软件来进行本次数据下载平台的开发辅助是很有必要的，并且能够提升系统执行的很大效率。五、遗留问题1、版本差异。本次示例只是在Control-M6.4版本上进行演示，与实际开发中使用的7.0版本还会有一定的差距，新版本加入的一些特性表达不出来，留待陈鹏参加完6.25至6.29的培训后进行介绍。2、业务差距。由于对于业务认识的程度不够，不能完整的表现出一个与实际情况相符合的业务逻辑（例如：表结构，业务流程），留待熟悉业务后，再对本示例进行改进。3、技术差距。由于正式的ETL过程需要用到很多的技术来进行实现，而且所用到的环境也是Windows的环境，所以等到项目开展后，再加以完善本示例指导。