Hadoop大数据处理文件

联系人：王潇手机：[phone]邮箱：[e-mail]第1页共7页关于举办“Hadoop大数据处理高级工程师”实战培训班的通知各有关单位：为贯彻落实党中央国务院“十二五”规划指导精神，云计算作为战略重点项目新兴产业，政府和业界都表现出了极大的热情。日前发改委、工信部、财政部支持的云计算项目正式启动，云计算平台和云计算服务模式已成为今后IT服务的主流。云计算服务应用的种类不断增多，普及程度逐渐深入，使用者正向普通用户拓展。未来，云计算及其基础设施将是信息产业的核心平台，其所蕴含的技术变革和创新服务模式，将深刻影响全球产业技术创新的发展。目前，互联网正从数据爆炸进一步发展到海量数据分析和挖掘的时代，而基于Hadoop技术的解决方案为海量数据存储和处理提供了经济、高效、高安全性和高可靠性的保障，ApacheHadoop也因此成为大数据行业发展背后的驱动力。由于Hadoop技术已成为当下最火热的云计算技术之一，各行业中希望深入了解并掌握这门技术的人也越来越多，中国信息化人才培训中心决定开展“大数据处理Hadoop应用与开发”实战培训班，本次培训由北京天博信通科技有限公司具体承办，望相关单位收到通知后积极参加。相关培训事宜如下:一、课程目标1、了解Hadoop的历史及目前发展的现状、以及Hadoop的技术特点，从而把握分布式计算框架及未来发展方向，在大数据时代能为企业的技术选型及架构设计提供决策参考。2、全面掌握Hadoop的架构原理和使用场景，并通过贯穿课程的项目进行实战锻炼，从而熟练使用Hadoop进行MapReduce程序开发。课程还涵盖了分布式计算领域的常用算法介绍，帮助学员为企业在利用大数据方面体现自身价值。3、深入理解Hadoop技术架构,对Hadoop运作机制有清晰全面的认识，可以独立规划及部署生产环境的Hadoop集群，掌握Hadoop基本运维思路和方法，对Hadoop集群进行管理和优化。联系人：王潇手机：[phone]邮箱：[e-mail]第2页共7页二、培训时间和地点2016年05月25日---05月28日广州（25日全天报到）2016年06月15日---06月18日北京（15日全天报到）三、培训对象各地政府云计算物联网产业相关负责人，各企业CIO、信息中心负责人、技术总监，云计算中心负责人，云计算产业投资团队，云计算应用开发商，云计算硬件设备供应商，云服务提供商，高校、科研院所云计算项目负责人。各企业大数据架构师、技术总监、数据挖掘负责人、数据挖掘开发工程师四、师资力量张老师：阿里大数据高级专家，国内资深的Spark、Hadoop技术专家、虚拟化专家，对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB、大数据挖掘算法等Hadoop生态系统中的技术进行了多年的深入的研究，更主要的是这些技术在大量的实际项目中得到广泛的应用，因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有：某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(WebGameDaas)平台项目等。钱老师：大数据专家。在电信、电力、金融行业从事Java开发和架构设计的工作；资深云计算研发工程师。作为项目的主要成员和负责人参与并领导完成了多个大型复杂项目，并成功应用于行业解决方案，如海量数据匹配系统、电力行业实时数据采集分析系统等。设计并实现了实时索引系统-云搜，成功应用与某国企知识库系统。并可应用与互联网行业的搜索等应用。完成多个云计算解决方案的架构，涉及到金融韩行业海量数据分析与数据处理系统、海量日志分析系统、电力用电信息统计系统等，获得业界认可。五、培训特色注重应用：分析国内实际情况，结合国际、国内成功经验。Hadoop采用实战的项目，让学员在短时间内掌握Hadoop的搭建与配置。并进行高效的大数据清洗和分析。形式灵活：互动课堂、免费技术沙龙、提供云计算项目建设咨询、大数据Hadoop平台的搭建。联系人：王潇手机：[phone]邮箱：[e-mail]第3页共7页六、颁发证书参加相关培训并通过考试的学员，可以获得：工业和信息化部人才交流中心颁发的-大数据处理高级工程师。该证书可作为专业技术人员职业能力考核的证明，以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。注：请学员带二寸彩照2张（背面注明姓名）、身份证复印件一张。七、培训费用及须知5800元/人（含教材、培训费、以及学习用具等费用）食宿统一安排，费用自理。八、付款方式参加培训的学员可通过汇款的方式汇到我公司账户，也可以现场交现金。户名：北京天博信通科技有限公司开户行：北京农村商业银行长辛店支行账户：0206100103000009070九、培训内容（3天课程）课程模块课程主题主要内容案例和演示第一天Hadoop简介和生态系统介绍传统大规模数据分析存在的问题Hadoop概述Hadoop与分布式文件系统Hadoop生态系统Hadoop的行业应用案例分析Hadoop在云计算和大数据的位置和关系Hadoop版本介绍Hadoop与GoogleFS的关系Hadoop在国内的使用情况和未来Hadoop在推荐领域的使用案例介绍大数据应用场景离线计算架构、技术和应用场景实时查询架构、技术和应用场景流式计算架构、技术和应用场景内存计算架构、技术和应用场景联系人：王潇手机：[phone]邮箱：[e-mail]第4页共7页海量数据的ETLHadoop组件介绍HadoopNameNode介绍HadoopSecondaryNameNode介绍HadoopDataNode介绍HadoopJobTracker介绍HadoopTaskTracker介绍Hadoop的HDFS模块HDFS架构介绍HDFS原理介绍NameNode功能详解DataNode功能详解SecondaryNameNode功能详解HSFD的fsimage和editslog详解HDFS的block详解HDFS的block的备份策略Hadoop的机架感知配置HDFS的shell命令介绍HDFS的thriftserver服务介绍HDFS的API接口介绍HDFS的权限详解Hadoop的客服端接入案例Hadoop的shell命令演示Hadoop的API接口演示Hadoop的客服端接入案例第二天Hadoop生态组件集群管理工具—ambari分布式存储—HDFS分布式计算—MapReducenoSQL数据库—Hbase工作流工具—Oozie数据的并行采集—FlumeMapReduce脚本工具—Pig与关系型数据库之间的数据迁移—Sqoop资源管理平台—Yarn数据挖掘算法—Mahout分布式统一服务—ZookeeperHadoop安全工具—KnoxMapReducer入门Mapreduce原理MapReduce流程剖析一个MapReduce程序Mapper和Reducer抽象类详解Mapreduce的最小驱动类MapReduce自带的类型自定义Writables和MapReduce实现海量数据比较大小案例自定义Hadoop类型案例自定义Partitioner案例实现在内存随机生成100个数，分成两个Map来比较大小多文件输出和自动定义联系人：王潇手机：[phone]邮箱：[e-mail]第5页共7页WritableComparablesMapreduce的输入InputFormatsMapReduce的输出OutputFormatsCombiner详解Partitioner详解DistributeFileSystem详解HadoopTools工具介绍Counter计数器详解自定义Counter计数器基于Hadoop二次开发实战MapReduce的优化Map和Reduce的个数设置Hadoop小文件优化任务调度默认的任务调度公平任务调度能力任务调度使用HadoopMapReduceStreaming编程MapReduce的单元测试MapReduce的输出名MapReduce实现Join算法案例MapReduce实现海量文档相似度算法自定义Counter案例实现MapReduce实现Pangrank算法。MapReduce单元测试：Map的单元测试测试、reduce单元测试和MapReduce整体的单元测试实战。某公司使用MapReduce分析日志案例（10T数据以上）配置公平调度器案例实战Yarn资源控制使用Cgroups支持CPU隔离指定某个应用的资源使用策略；根据指定策略实现CPU与内存的固定配额调度根据指定策略实现CPU与内存百分比的配额调度根据指定策略实现不同计算模型(mapreduce、spark)在各个计算节点的分布根据指定策略实现不同计算模型个对资源的限定根据指定策略实现不同计算模型在具体哪些节点上启动基于Yarn的公平调度(FairScheduler)和能力调度(CapacityScheduler)Yarn资源控制实战HiveHive和Pig基础Hive、Impala和presto的比较Hive的作用和原理说明Hadoop仓库和传统数据仓库的协使用JDBC连接Hive进行查询和分析使用正则表达式加载数据编写UDF函数联系人：王潇手机：[phone]邮箱：[e-mail]第6页共7页作关系Hadoop/Hive仓库数据数据流Hive部署和安装HiveCli的基本用法Hive的server启动HQL基本语法Hive的加载数据本地加载和HDFS加载Hive的partition详解Hive的存储方式详解RCFILE、TEXTFILE和SEQUEUEFILEHive的UDF和UDAFHive的transform详解Hive的JDBC连接编写UDAF自定义函数Partition使用实战Transform使用实战某些大型公司使用hive分析日志案例详解和实战。第三天Hbase使用Hbase原理Hmaster详解RegionServer详解Zookeeper介绍Hbase安装Hbase逻辑视图介绍Hbase物理视图介绍Hbase的二级索引介绍Hbase的DDL和DMLHbase表的设计案例Hbase的import功能介绍MapReduce操作HbaseHbase的thriftServer介绍Hbase的API介绍Hbase案例分析Hbase安装实战MapReduce操作Hbase实战Hbase的API实战Hbase表结构设计实战Spark介绍内存计算—Spark实时计算—SparkStreamingSQLonSpark—SparkQL&Shark基于spark的数据挖掘—Mllib基于Spark的图计算—graphxSparkonYarn实战Spark+Kafka+SparkStreaming+Hbase实时计算实战互联网大阿里的ODPS大数据平台架构介绍阿里的实时推荐架构阿里的交叉营销系统阿里支付宝交易监控系统支付宝微贷案例分析(互联网征信联系人：王潇手机：[phone]邮箱：[e-mail]第7页共7页八、报名回执“大数据处理Hadoop应用与开发”报名回执表单位名称详细地址联系人电话传真邮箱姓名性别部门/职务电话手机邮箱户名