搜索
QCon北京2014大会 4月25—27日 @InfoQ infoqchina Hadoop2.0应用 基于Yarn的淘宝海量数据服务平台 曹龙@封神 阿里巴巴集团-‐海量数据 微博：封神无度 演讲提纲 • 大数据 • 目前的云梯现状 • YARN的介绍 • YARN在云梯的应用 • 未来展望 大数据 • 数据的价值 – 阿里的三个发展阶段: 平台、金融、数据 • 数据增长趋势 – 用户、商品、交易 • 数据的复杂度 – 子公司众多 – 业务逻辑复杂并相互依赖 淘宝 100 200 400 600 1000 2008 2009 2010 2011 2012 淘宝交易额(十亿) 天猫 一淘 支付宝 B2B 阿里金融 演讲提纲 • 目前的云梯现状 • YARN的介绍 • YARN在云梯的应用 • 未来展望 演讲提纲 • 目前的云梯现状 • YARN的介绍 • YARN在云梯的应用 • 未来展望 阿里大数据发展历程 • 云梯 – 一个集群 – 一项服务 • 为阿里集团提供海量数据的存储和计算服务 • 为何选择 Hadoop？ – MapReduce 和 HDFS 能满足大部分离线业务的需求 – 商业公司 Yahoo / Facebook 支持，工业级应用 – 可扩展，大规模 – 开源软件，社区活跃 云梯集群发展历程 上线 集群迁移机房 Oracle RAC基本迁移完成 服务扩展至全集团 现在：跨机房 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 2009.4 2010.3 2010.7 2012.1 2012.10 2013.10 集群规模(台) 演讲提纲 • 目前的云梯现状 • YARN的介绍 • YARN在云梯的应用 • 未来展望 计算的框架 MPI 计算模型 资源来自：YARN: Hadoop Beyond MapReduce -‐ Andreas Neumann 多计算模型框架并存 资源来自：YARN: Hadoop Beyond MapReduce -‐ Andreas Neumann YARN的优势 • 支持多种计算框架在同一个集群中并存，错峰节约硬件资源。 • 在资源控制方面，突破传统的slot的概念，细化到具体的资源，如：内存、CPU。可以使利用率更高，进一步节约资源，还可以隔离影响。 以下数据是虚拟的 假设： Hadoop 1000台 综合平局利用率50% Storm 500台 综合平局利用率50% MPI 200台 综合平局利用率50% 合并后 综合平局利用率可以为80% 则： 节约637.5台机器，37.5%的成本 一年节约大约 3000W 人民币 Yarn的优势 • Master(RM)节点压力小 YARN的优势 YARN的优势 YARN的优势 hadoop jar hadoop-‐tools-‐0.0.1.jar org.alibaba.hadoop.tools.SmallJobBench -‐numJobs 10000 -‐maxRunningJobs 1 -‐maps 1000 -‐reduces 1000 -‐mt 2000 -‐rt 2000 94.52% 94.91% 53.24% 以前的基本架构 Job tracker Client Client Client Task Tracker Map Task Reduce Task Task Tracker Map Task Reduce Task Task Tracker Map Task Reduce Task YARN基本架构 Node Manager MR AppMstr Resource Manager Client Client Client Map Task Map Task Node Manager MPI AppMstr MPI Task MPI Task Node Manager Map Task MPI Task Reduce Task MPI Task YARN双层调度 特点 缺点 典型代表 Monolithic scheduler 结构简单，实现难度相对较低 集群规模受限、很难引入新的调度策略 JobTracker Two-‐level scheduler 扩展性好1w-‐10w，支持多种调度模式 各应用无法感知集群整体的使用状况 YARN mesos Shared state Scheduler 应用感知集群的整体的使用状况 复杂 Omega Omega: flexible, scalable schedulers for large compute clusters YARN的设计 • 服务生命周期管理模式 • 事件驱动模式 • 状态驱动模式 演讲提纲 • 目前的云梯现状 • YARN的介绍 • YARN在云梯的应用 • 未来展望 云梯选择的版本 云梯的选择： 09年 0.19.1 12年10月 0.23.X 13年10月 2.2.X ：An update on Apache Hadoop 1.0 Charles Zedlewski Yarn在云梯的状态 • 目前yarn在云梯还是验证阶段 • 目前150台机器的规模,双机房 • 每日JOB 几K左右 • 已经在线稳定运行4个月左右 • 计划在不久将来增加到几K左右 阿里的改动 • 兼容阿里0.19.1的HDFS • 调度器的改动 – 引入提交App时间点的限制 – 同组内绝对优先级 – 跨机房调度 – 适配安全的一些改造 • 提供一个统一的查询log界面 • 性能优化 • 再集成LZO解压缩算法 YARN 与 现有HDFS融合 RPC common-‐yunf-‐1.0.jar Namenode HDFS-‐yunf.jar common-‐yunf-‐1.0.jar DFSClient HDFS-‐yunf.jar MR-‐yunf.jar JT TT common-‐2.0.jar DFSClient HDFS-‐yunf.jar YARN-‐2.0.jar MRAPP NN RM … FileSystem RPC FileSystem RPC 目前云梯的现状 云梯1.0 HDFS YARN（云梯2.0） 安全、调度器、兼容1.0 api MPI spark Hive/Streaming MRv1.0（云梯1.0） MRv2.0 不久后的云梯 HDFS YARN MRv2.0 MPI spark storm Tez Hive/pig shark Hbase …… 云梯YARN的跨机房 RM1 NM NM NM RM2 NM NM NM DC1 DC2 RMProxy request VS RM1 NM NM NM NM NM NM DC1 DC2 DC1 request Spark on yarn 目前阿里有几个团队在使用spark， 共享云梯YARN集群，目前spark每天的job大约为 100+ 有时候单个job对资源的利用还是很多的， 如下： 对spark应用的门槛： 1. 目前还没有应用shark，不能直接写SQL 2. 用spark基本还需要学scala，有一定的语言门槛 跟spark的同质产品也有很多： 如：MPI、Impala、Strom RM Spark work NM NM Spark AM DAGScheduler Spark Yarn client online on yarn • RM的高可用性 – YARN-‐128 The aim of the inifal phase is to enhance the RM to be able to confnue running exisfng applicafons on cluster aler the RM has been restarted – YARN-‐149 RM HA – YARN-‐556 Work Preserving RM Restart • AM的高可用性 • 升级 – Yarn升级 – Applicafon代码升级 • 调度 WEB1 LB NM1 WEB2 NM2 演讲提纲 • 目前的云梯现状 • YARN的介绍 • YARN在云梯的应用 • 未来展望 未来展望 • 服务类型扩展 – 支持多种计算模型，比如Spark/MPI/Storm/Tez等，超越Hadoop MapReduce (Hadoop 2.0 Yarn) • 期望和开源社区结合更加紧密 • 对调度器的改造 – 支持机器打标签 – 支持申请单台机器 • 更细粒度控制资源的利用情况 – 磁盘IO、网络等 未来展望 • 服务质量提升 – 节点HA • NN RM HA (Hadoop 2.0) • RM服务恢复 • 做到不停机升级，加快软件的进化速度 – 实时化 • M/R调度性能的深度优化 • 接入新的一些计算模型，如：spark、shark、storm等 – 安全性 • 接入阿里的认证体系，更好的授权体系。 • Hive表的权限控制，对MR/Pig程序的等访问控制 总结 • 目前的云梯现状 • YARN的介绍 • YARN在云梯的应用 • 未来展望 下载来往： 找到我： QA! 特别感谢 QCon上海合作伙伴