蚂蚁金服大数据分析产品的架构演进

蚂蚁金服大数据分析产品的架构演进1.蚂蚁DeepInsight产品的历史2.2012，业务痛点在哪里3.2013-2014，创业起航，万事开头难4.2015-2016，发展中的问题治理5.2017-，未来6.总结目录content单节点Oracle,3T数据+手工报表（甚至是直接跑SQL）201620062009201220142015石器时代（打猎，采集）1数据库集群，最大到45TB+手工报表农耕时代（简单工具）2采云间创始人敏锐的观察到业界变化，敏捷BI开始规划工业革命起源3基于大数据的和丰富可视化的敏捷BI产品DeepInsight上线蒸汽机发明4功能趋于完整，对代码的把控进入了新的阶段蒸汽机持续改进5交流发电机雏形出现PV和UV发生了突破性增长，架构遇到了新的挑战6一、2012年起，基于互联网大数据分析的挑战响应时长月日小时秒需求可枚举-固化成指标业绩监控(如：kpi)需求场景说明需求可抽象-固化成报表业务分析（如：用户流失分析）临时需求-人肉满足日常需求（如：营销活动人群提取）运营策略分商务合作观点碰撞头脑风暴……管理层PD运营数据分析师开发此处成熟但也只是冰山一角技术人员营销人员数据分析师产品经理提数据需求提数据需求提数据需求需求排队建模分析展示1.串行执行，资源瓶颈明显2.低效能分析工具分析周期长支持的数据量小学习成本高并行分析，资源瓶颈消除但是有什么前置条件呢？技术人员营销人员数据分析师产品经理提数据需求提数据需求提数据需求建模分析展示建模分析展示建模分析展示服务于其他角色的数据需求需要一个高效的基于大数据的分析工具---难难难运营和技术都掌握高级数据分析的方法--难难难易学易用准确分析周期短基于海量数据的中国式报表好快多大一低一准学习曲线低洞见准确体验好查询快函数多数据量大格式复杂信息量大可视化效果丰富内外定制化开发，工期长，成本高重复建设，浪费资源竞争对手业务领先技术也处于领先公司在数据分析领域竞争力在下降自助分析•功能目标：业务人员也能用的分析工具，不写SQL查看和分析•功能特性：多数据源融合，支持上传excel、txt一键同环比，自定义同环比时间窗口灵活多维分析，无需清洗数据表上传excel、txt数据一键同环比拖拽指标进行多维分析类excel电子表格分析报告图文灵活布局、组件多元图形联动•功能目标：无需代码即可还原分析报告，搭建MVP，且维护成本低•功能特性：页面布局灵活，高效绘制分析报告强分析型图表，联动、跨页面互链一键切换移动报告，随时制定决策多元化图形组件，支持垂直领域分析一键切换移动报表智能诊断输出报告27-Aug2017与上周同期对比，PH.COM的支付成功率从71.51%下降到69.23%，异常下降。原因解读：1、风控拒绝占比从9.0%上升到14.1%。•主要由于negativelistprofile稽核量占比从18%上升到25%造成，贡献率120%。2、银行成功占比从68%下降到64%。•主要由于MOTO交易量占比从84.52%下降到79.55%造成，贡献率80%。原因分析异常识别08–Sep20171、异常上升：今日区域SG，站点.COM，银行国家为JP的交易笔数同比+1114.28%，异常上升2、异常下降：今日区域SG,站点LIVEUP的交易笔数同比-98.50%，异常下降二、2013-2014万事开头难，但还好不是白手起家这是一个组装的时代2013-2014：组装或者拼装的时代OLAP模型及分析引擎可视化组件数据集图形报表…OLAP模型数据缓存查询路由数据存储及分析计算ODPSRDSADSETL（数仓）支撑域账号权限告警1.依托集团成熟的中间件2.依托集团成熟的基础设施3.依托集团成熟的研发流程4.借助开源产品业务数据存储协作模块发布分享评论1.支持亿级2.复杂函数3.相对慢1.支持亿级2.简单函数3.快1.少量数据2.复杂函数3.快2.成熟的基础设施持续基础发布系统项目管理企业文化等等3.现有的大数据产品ODPS，ADS，RDS4.稳定的中间件产品RPC，MVC分库分表Queue……1.业界开源的模型优势劣势2.代码从几乎零开始难度大1.团队BI技术储备少3.好多坑要慢慢踩4.也留下来了不少坑三、2015-2017架构演进中遇到的问题智能诊断统计分析……开放API+SDK开放的模板行业解决方案……多人协同编辑发布，分享，评论移动展示……智能2017年的技术架构演进丰富的可视化高效的协作智能的分析高性能，实时，稳定多种引擎的适配案例：如何通过数据分析来提升产品性能？目录𝑥1=缓存访问次数*路由到缓存查询1秒内的概率𝑥2=(每张表recall∗该表慢查询pattern命中次数∗构建成功率∗及时加速成功率)𝑛𝑖=1*icube查询1秒内的概率𝑥3=RDS及时加速成功率*(需要加速到𝑅𝐷𝑆的每张表访问的次数)𝑛𝑖=1*路由到RDS链路查询1秒内的概率𝑥4=ADS及时加速成功率*(需要加速到A𝐷𝑆的每张表访问的次数)𝑛𝑖=1*路由到ADS链路查询1秒内的概率𝑥5=ODPS访问次数*路由到ODPS链路查询1秒内的概率𝑥6=(直连𝑀𝑌𝑆𝑄𝐿每张表访问的次数)𝑛𝑖=1*路由到ODPS链路查询1秒内的概率𝑥7=(直连𝐸𝑋𝑃𝐿𝑂𝑅𝐸𝑅每张表访问的次数)𝑛𝑖=1*路由到ODPS链路查询1秒内的概率𝑥8=1−路由成功率∗查询次数*路由到ODPS链路查询1秒内的概率指标定义1秒内报表RT占比=𝑥𝑖𝑛𝑖=1𝑡𝑜𝑡𝑎𝑙𝑞𝑢𝑒𝑟𝑦query_datasourceicubeRouteTrquery_dataquery_rowLevel1秒98%1秒95%1秒88.9%P=1秒内的概率D=模块耗时对总的1秒内概率的影响百分比……80.9%…𝑃1𝑠=1−(𝐷𝑎𝑢𝑡ℎ+𝐷𝑐𝑟𝑢𝑑+𝐷𝑟𝑜𝑤𝑙𝑒𝑣𝑒𝑙+𝐷𝑝𝑎𝑟𝑎𝑚𝑒𝑡𝑒𝑟𝐵𝑢𝑖𝑙𝑑+𝐷𝑐𝑟𝑒𝑎𝑡𝑒𝑀𝑜𝑑𝑒𝑙+𝐷𝑖𝑐𝑢𝑏𝑒TR+𝐷𝑠𝑝𝑒𝑒𝑑𝑢𝑝𝑇𝑅+𝐷𝑟𝑒𝑤𝑟𝑖𝑡𝑒+𝐷queryDatasource+𝐷𝑐𝑜𝑛𝑣𝑒𝑟𝑡)1秒占比展开123定义问题，定义指标，产出数学模型，再进行统计分析，多维分析𝑅𝑇1秒内报表占比=𝑋𝑖∙𝑃𝑖n𝑛=1𝑋1=ADS访问次数占比，𝑃1=𝐴𝐷𝑆一秒内返回概率𝑋2=RDS访问次数占比，𝑃2=𝐴𝐷𝑆一秒内返回概率𝑋3=EXPLORER访问次数占比，𝑃3=EXPLORER一秒内返回概率𝑋4=ICUBE访问次数占比，𝑃4=ICUBE一秒内返回概率𝑋5=ODPS访问次数占比，𝑃5=ODPS一秒内返回概率𝑋6=CACHE访问次数占比，𝑃6=CACHE一秒内返回概率𝑋7=MYSQL访问次数占比，𝑃7=MYSQL一秒内返回概率统计分析（正态检验，概率密度检验，皮尔森相关系数，多元回归等）1多维分析（分组聚合，下钻）23问题收益预估ownerdeadline问题列表及行动策略ServerRT=1秒比例：95%ServerRT=10秒比例：99%4目前的DeepInsight在阿里内部的相关指标情况稳定性目标(及时加速成功率：98%)(快查询成功率：98%)(系统稳定性：99.9%)可视化效率目标（单屏报表制作：10分钟）性能目标（ServerRT=1s：95%）（ServerRT10s:0.5%）业务目标（集团员工覆盖率：33.4%）（蚂蚁员工：54%）四、未来，我们的技术架构何去何从？现有架构梳理未来架构规划团队能力培养统计分析方法智能自动分析开放和集成更强的协作支持更海量数据架构研究质量管理研发流程管理性能优化稳定性优化成本优化技能的梯队建设（计算机科学&抽象与架构&数据分析）领域技术的广度和深度技术氛围和工作环境思维模式&心智模型训练数据分析架构的未来