JStorm流处理框架

CompanyLOGOJStorm介绍封仲淹(Longda)封仲淹（LongdaFeng）Alibaba大纲QuestionandAnswer.特性JStorm概叙&流式计算JStormvsStorm现状自我介绍JStorm团队是国内最早开始使用storm的团队历经storm0.5.1/0.5.4/0.6.0/0.6.2/0.7.0/0.7.1JStorm0.7.1/0.9.0/0.9.1/0.9.2/0.9.3一条龙服务应用开发平台开发系统运维封仲淹（LongdaFeng）AlibabaJStorm现状Ali内部超过600台日超过1万亿条封仲淹（LongdaFeng）AlibabaJStorm是什么JStorm是一个分布式实时计算引擎类似HadoopMR•用户按照规定的编程规范实现一个任务，将任务放到JStorm上，JStorm就将任务7*24小时调度起来JStorm比Storm更稳定，功能更强大，更快。•Storm上跑的程序可以一行代码不变运行在JStorm上封仲淹（LongdaFeng）Alibaba流式计算特点基于消息的流水线处理系统封仲淹（LongdaFeng）Alibaba优点1开发非常迅速，容易上手，只要遵守Topology，Spout，Bolt的编程规范即可开发出一个扩展性极好的应用，底层rpc，worker之间冗余，数据分流之类的操作，开发者完全不用考虑。封仲淹（LongdaFeng）Alibaba优点2扩展性极好当一级处理单元速度，直接配置一下并发数，即可线性扩展性能封仲淹（LongdaFeng）Alibaba优点3健壮当worker失效或机器出现故障时，自动分配新的worker替换失效worker调度器Nimbus采用主从备份，支持热切封仲淹（LongdaFeng）Alibaba优点4准确采用Acker机制，保证数据不丢失。采用事务机制，保证数据准确性封仲淹（LongdaFeng）Alibaba适用场景适合无状态计算处理单元处理的数据均来自inputTuple，不含有额外依赖数据。场景：日志分析管道系统消息转化器统计分析器封仲淹（LongdaFeng）Alibaba封仲淹（LongdaFeng）Alibaba为什么启动JStorm项目阿里拥有自己的实时计算引擎类似于hadoop中的MR开源storm响应太慢开源社区的速度完全跟不上Ali的需求降低未来运维成本提供更多技术支持，加快内部业务响应速度为什么启动JStorm项目现有Storm无法满足一些需求现有storm调度太简单粗暴，无法定制化Storm任务分配不平衡RPCOOM一直没有解决监控太简单对ZK访问频繁。。。封仲淹（LongdaFeng）Alibaba更稳定（1）--nimbusHANimbus实现HA当一台nimbus挂了，自动热切到备份nimbus封仲淹（LongdaFeng）Alibaba更稳定（2）--解决RPC问题原生StormRPCZeromq使用堆外内存，导致OS内存不够Netty导致OOM(老版本)JStorm底层RPC采用netty+检查机制基本保证发送速度和接受速度是匹配的封仲淹（LongdaFeng）Alibaba更稳定（3）--数据流稳定现有Storm（0.9.0已经fix）添加supervisor时，会触发任务rebalanceSupervisorshutdown时，触发任务rebalance提交新任务时，当worker数不够时，触发其他任务做rebalance上叙问题不会在JStorm中发生封仲淹（LongdaFeng）Alibaba更稳定（4）–任务之间影响小新上线的任务不会冲击老的任务采用cgroups对资源进行硬隔离，保证程序之间CPU不发生抢占封仲淹（LongdaFeng）Alibaba解决Disruptor急剧消耗CPU问题当原生Disruptor队列慢时，生产方会不断轮询检查Disruptor队列是否有空的slot，极大消耗队列Cpu利用率从300%降到10%封仲淹（LongdaFeng）Alibaba更稳定（5）优化GC，减少因GC导致误认worker死掉Storm经常杀死worker不彻底，导致后续无法启动worker同一台机器上只启动一个supervisor/nimbus，避免运维误操作导致丢失大量任务减少netty不断重连，占用太多的临时端口。。。封仲淹（LongdaFeng）Alibaba稳定性（6）--支持用户级报警和alimonitor结合支持用户自定义监控和报警（0.9.6）各种维度采样单worker内部支持70多个维度的采样，全方位展示各种数据，帮助快速查找错误封仲淹（LongdaFeng）Alibaba更稳定（7）--morecatchSupervisor主线程Spout/Bolt的open/prepare所有IO,序列化，反序列化封仲淹（LongdaFeng）Alibaba更稳定（8）减少对ZK的访问量：去掉大量无用的watchtask的心跳时间延长一倍Task心跳检测无需全ZK扫描封仲淹（LongdaFeng）Alibaba调度更强大（1）彻底解决了storm任务分配不均衡问题从4个维度进行任务分配：CPUMemoryDiskNet封仲淹（LongdaFeng）Alibaba调度更强大（2）默认一个task，一个cpuslot当task消耗更多的cpu时，可以申请更多cpuslot。申请的cpuslot多，就获取更多的cpu资源需求：解决新上线的任务去抢占老任务的cpu。一淘有些task内部起很多线程，单task消耗太多cpu封仲淹（LongdaFeng）Alibaba调度更强大（3）默认一个task，一个memoryslot当task需要更多内存时，可以申请更多内存slot需求：在海狗项目中，solrtask需要8G内存，而且其他任务2G就够了封仲淹（LongdaFeng）Alibaba调度更强大（4）在资源平衡算法的前提下尽量保证上下游关系的task在同一个worker尽量走内部通道，提高性能封仲淹（LongdaFeng）Alibaba调度更强大（5）可以强制某个component的task运行在不同的节点上需求：聚石塔，海狗项目，某些task提供webservice服务，为了端口不冲突，因此必须强制这些task运行在不同节点上封仲淹（LongdaFeng）Alibaba调度更强大（6）可以强制topology运行在单独一个节点上需求：节省网络带宽Tlog中大量小topology，为了减少网络开销，强制任务分配到一个节点上封仲淹（LongdaFeng）Alibaba调度更强大（7）可以自定义任务分配提前预约任务分配到哪台机器上，哪个端口，多少个cpuslot，多少内存，是否申请磁盘需求：海狗项目中，部分task期望分配到某些节点上封仲淹（LongdaFeng）Alibaba调度更加强大（8）可以预约上一次成功运行时的任务分配上次task分配了什么资源，这次还是使用这些资源需求：CDO很多任务期待重启后，仍使用老的节点，端口封仲淹（LongdaFeng）Alibaba插件化可以运行在飞天上可以运行在Hadoop2.0（yarn）上可以运行在公司弹性计算平台上封仲淹（LongdaFeng）Alibaba资源隔离不同部门，使用不同的组名每个组有自己的Quato（0.9.5以下版本）不同组的资源隔离采用cgroups硬隔离封仲淹（LongdaFeng）Alibabaclassloader解决应用的类和JStorm的类发生冲突应用的类在自己的类空间中需求：Log4j，Logbak冲突当应用访问Hive时，使用thrift9，与JStormthrift7冲突如果使用hsf，肯定会发生类冲突封仲淹（LongdaFeng）Alibaba更方便的UI人性化的LogView，看日志更方便更简洁直观的UI解决了storm统计小粒度误差问题展示更关键的QPS封仲淹（LongdaFeng）AlibabaTask内部异步化Worker内部全流水线模式SpoutnextTuple和ack/fail运行在不同线程需求：EagleEye中，在nextTuple做sleep和wait操作不会blockack/fail动作封仲淹（LongdaFeng）AlibabaLibjar可以无需上传支持命令读取配置文件，无需编码读取配置依赖包可以不打入应用jar，减少大量上传下载的时间支持应用指定worker.classpath封仲淹（LongdaFeng）Alibaba强大的监控Webui上展示更多的监控Task级别，每一个模块消耗时间，队列长度Worker级别，每一个模块消耗时间，队列长度，cpu/mem使用，网络时延用户自定义监控数据更多监控和Alimonitor无缝结合，让用户自定义报警封仲淹（LongdaFeng）Alibaba性能对比快20%以上5台物理机18spout/18bolt/18acker封仲淹（LongdaFeng）Alibaba928059810818815906596568191395610201624368068305005595900547418033798000200000040000006000000800000010000000120000000102030405060polltuples/10sworkersThroughputvsworkersjstormstormJstorm性能发送41WQPS封仲淹（LongdaFeng）AlibabaStorm性能发送20WQPS封仲淹（LongdaFeng）Alibaba为什么更快Zeromq减少一次内存拷贝增加反序列化线程重写采样代码，大幅减少采样影响优化ack代码优化缓冲map性能对GC做了特别优化Java比clojure更底层封仲淹（LongdaFeng）Alibaba其他优化超过100多项优化自动清理残留的worker任务分配算法单线程执行，避免同一slot被分配不通worker被reassign的worker的启动超时时间为4分钟优化shutdown过程，优雅退出对thrift异常进行catch避免rebalance时，topology被误删。。。。封仲淹（LongdaFeng）Alibaba更多文档旺旺群：JStormQQ群：228374502来往公众账号:JStorm封仲淹（LongdaFeng）Alibaba诚聘英才精通Java即可[e-mail]封仲淹（LongdaFeng）AlibabaCompanyLOGO纪君祥（LongdaFeng）