让服务飞起来：实时计算及其应用_1

DATAGURU专业数据分析网站讲师王成光炼数成金让服务飞起来：实时计算及其应用第1课DATAGURU专业数据分析网站讲师王成光炼数成金讲师简介1王成光，某海外资讯创业公司首席架构师／技术合伙人硕士毕业十年，主要从事搜索、推荐、数据挖掘方面工作，曾先后在赛迪、窝窝团、百丽电商优购、搜狐、网易及一点资讯，历任高级工程师、架构师、技术专家、资深架构师曾开源轻量级分布式实时计算框架light_drtc2016年出版《分布式实时计算框架原理及实践案例》2017-11-18DATAGURU专业数据分析网站讲师王成光炼数成金实时计算当前应用2何为实时计算实时计算与日常生活实时计算与日常工作当前主流实时计算框架–Storm/JStorm–SparkStreaming–底层技术当前实时计算在企业应用–实时计算在一线互联网企业–实时计算在传统企业–实时计算在初创企业2017-11-18DATAGURU专业数据分析网站讲师王成光炼数成金实时计算当前应用---何为实时计算3离线计算：在计算开始前已知所有输入数据，输入数据不会产生变化，一般是批量处理数据库的过程，多用于机器学习模型的训练和数据的预处理。实时计算：计算开始前并不需要知道所有的输入数据，输入数据是可以以序列化的方式一个个输入并进行处理，实时程序必须保证在严格的时间限制内响应，通常实时响应时间会是以毫秒为单位，也有时是以微秒为单位，多用于简单的累加计算和基于训练好的模型经过简单计算而快速响应。流式计算：将源源不断产生的数据实时收集并实时计算，流的本质特征是onepass和sequence，实时成本太高，异步的流式计算可以满足大部分场景。2017-11-18DATAGURU专业数据分析网站讲师王成光炼数成金实时计算当前应用---实时计算与日常生活4水力发电2017-11-18DATAGURU专业数据分析网站讲师王成光炼数成金实时计算当前应用---实时计算与日常生活5人体消化系统2017-11-18DATAGURU专业数据分析网站讲师王成光炼数成金实时计算当前应用---实时计算与日常工作6实时计算在电商购物整个环节–购物车商品加入前实时判定是否有货–购物车商品提交订单实时计算订单费用实时计算在内容产品“今日头条”使用–用户画像实时更新–个性化推荐服务流式计算在运维监控–服务健康状况监测2017-11-18DATAGURU专业数据分析网站讲师王成光炼数成金实时计算当前应用---实时计算框架Storm7Storm/JStorm2017-11-18DATAGURU专业数据分析网站讲师王成光炼数成金实时计算当前应用---实时计算框架Storm8Storm/JStorm2017-11-18DATAGURU专业数据分析网站讲师王成光炼数成金实时计算当前应用---实时计算框架Storm9Storm/JStorm2017-11-18DATAGURU专业数据分析网站讲师王成光炼数成金实时计算当前应用---实时计算框架SS10SparkStreaming2017-11-18DATAGURU专业数据分析网站讲师王成光炼数成金实时计算当前应用---实时计算框架SS11SparkStreaming2017-11-18DATAGURU专业数据分析网站讲师王成光炼数成金实时计算当前应用---实时计算框架SS12SparkStreamingDstream–InputDstream是DStream最初诞生的地方,也是RDD最初诞生的地方,它是依据数据源创建的最初的Dstream。–TransformedDStream是由其他DStream通过非Output算子装换而来的Dstream–OutputDStream是有其他DStream通过Output算子生成，它只存在于Output算子内部，并不会像TransformedStream一样由算子返回，他是触发Job执行的关键。–Output算子是让DStream中的数据被推送的外部系统，像数据库，文件系统（HDFS，GFS等）的算子2017-11-18DATAGURU专业数据分析网站讲师王成光炼数成金实时计算当前应用---实时计算框架SS13SparkRDD2017-11-18DATAGURU专业数据分析网站讲师王成光炼数成金实时计算当前应用---实时计算框架SS14SparkStreaming2017-11-18DATAGURU专业数据分析网站讲师王成光炼数成金实时计算当前应用---实时计算框架底层技术15实时数据流接收–MQ：Kafka、RabbitMQ底层通信–RPC：Thrift、Avro–WebService:Jetty/SpringBoot任务资源管理器–scheduler–zookeeper2017-11-18DATAGURU专业数据分析网站讲师王成光炼数成金实时计算当前应用---实时计算在企业使用16一线互联网企业–Hadoo2.0Yarn–Storm/SparkonMesos传统企业–缺乏专业运维人员–选择合适技术解决实时计算需求初创企业–缺乏资源–缺乏大数据支撑2017-11-18DATAGURU专业数据分析网站FAQ时间172017-11-18