102014大数据技术峰会-廖晓格(携程)24

MakeBigDataVisualizableandReal-time廖晓格携程大数据平台组Aboutus•来自携程大数据平台Team•负责携程大数据平台的搭建，优化，排障和监控调度系统开发Agenda•背景介绍•携程大数据平台架构•HBase在携程应用•携程产品生态介绍•未来挑战背景介绍•携程所有应用不允许写本地日志•每天日志量40T，总条数上千亿条•每天用户行为数据30T•业务数据飞速增长•所有数据都需要及时反馈给用户，应用或监控携程大数据架构报警用户可以在网站，手机端查看网站各种趋势和报警预测/分析BI报表DashBoard用户行为分析DIPortal：Job执行，监控和调度系统HiveMahoutSqoopSharkZooKeeperYARNHBaseHDFS携程大数据平台多个HBase集群，分业务部署，共享HDFSCentralLoggingStormMapReduceSpark用户可以提交job，sql（hiveorspark），sqoop,workflow调度系统，可以查询HBase，metric，监控整个hadoop平台携程集群分布StormHBaseHiveMahoutSqoopHDFSMapReduceOnlineOfflineSparkShark携程数据流HDFSSqoopMahoutDashboardDIPortal调度系统BI/报表团队游数据库机票酒店攻略社区实时用户行为分析LogCubeUBT爬虫告警应用告警数据层Map/ReduceStorm数据流向应用数据系统数据HBase业务层……前端JS数据HiveJDBC/SPARKSQLSparkHBase在携程•40个节点支持每天5百亿+条数据量，上20T+的容量•7x24小时服务•每秒百万级请求•改进balance来消除热点•专用HBase运维工具Tool：快速定位问题，发现并消除热点HBase热点消除HBaseClient端优化•Endpoint+自定义各种Filter实现在服务端计算SUM，COUNT，AVG，MAX，MINCentralLogging介绍客户端–LoggingAgent数据汇聚层–Collector数据消费者：实时rpc访问–HBase非实时访问-HiveAgentApp1AgentApp2CollectorQ1Q2RCFile/HDFSHBaseWriterQ1Q2……ClientHiveRPCCentralLogging日志跟踪DashBoard介绍度量数据的展示业务、框架、系统度量数据多维度实时钻取覆盖全公司所有metric的监控查询可水平扩展的度量查询引擎对外提供RESTAPIHBase每天6T，260亿记录DashboardUI报警框架数据源汇聚层流式处理消息通知IISAccessLogsAppMetricsAppEventsAppErrorLogs…AlertCollectorRuleConfigDBHBaseAlertingRulesReadPersistMessageQueue/TopicStorm监控介绍Mobile监控UBT(UserBehaviorTracking)介绍•PV•JSerror•Pageperformance•Biztracelog•……LoadBalancerCTailServicePusherHBaseCollectorHDFSBiz1Biz2NginxHadoopCTailServiceNginxStormUBT用户行为跟踪UBT网站用户流量跟踪UBT网站热力图UBT手机端的流量跟踪未来挑战•业务高速发展，集群10X成长•使用更多开源技术•欢迎更多牛人加入:[e-mail]•内部技术非常开放，github开源路径：://github.com/ctriposs/ThanksQ&A