搜索
一站式机器学习平台架构的搭建•配送业务介绍•机器学习在美团配送中的应用•美团配送算法数据平台•数据闭环和平台化物流行业的分类物流成本居高不下，具备很大优化空间国际物流国内物流同城配送•快递业务：401亿件•物流成本：12.1万亿，GDP14.6%2017年国内物流行业情况，From：中国物流与采购联合会同城即时物流的价值：到家服务即时配送给人们提供更多优质的服务餐饮商品快件准时品质安全配送时长60分钟以内平均30分钟高频度高密度美团配送的技术定位构建信息化+自动化+智能化的即时配送平台信息化自动化智能化商家画像骑手画像用户画像商圈数据绩效管理骑手运营自动结算业务报表智能调度智能定价智能规划智能运营智能化是核心战略方向！•配送业务介绍•机器学习在美团配送中的应用•美团配送算法数据平台演进历程•数据闭环和平台化机器学习在配送中的应用全环节智能化覆盖1)浏览配送费定价供需平衡2)下单智能定价用户定位修正3)收发单用户商家骑手4)派单5)接单商家客户端美团收银7)出餐6)到店8)离店智能改派任务规划自动到店识别出餐提醒9)到客11)离客10)交付交付点提示自动交付识别骑手语音助手ETA出餐预估接单预估取餐时长交付时长行驶速度排序+推荐行驶取餐行驶交付接单压单合单派单路径规划智能定价机器学习在配送中的应用人工智能正在深入配送的各个环节机器学习时间预估骑手语音助手配送范围规划骑手补贴定价配送费定价智能调度天平爆单配送区域规划•配送业务介绍•机器学习在美团配送中的应用•美团配送算法数据平台•数据闭环和平台化石器时代当配送很小的时候LRRFGBDT特点算法简单性能要求低算法介入少快速试错配送费定价时间预测智能调度技术选型粗粒度高耦合能快速实现即可能解决问题即可石器时代当配送很小的时候时间预测服务离线特征读取模型加载消费运单消息（特征计数）上下文数据算法逻辑（线上预测）工程逻辑时间预估输出离线数据/日志(Hive)ETL/MR特征库MySQL离线特征提取（算法RD）离线数据/日志(Hive)SparkML模型训练（算法RD）特征库MySQL运单核心流程MQ实时特征收集（工程RD）工程RD充当算法翻译，算法任何改动都需经过工程RD石器时代当配送很小的时候特征工程模型预测业务服务B重复造轮子•特征工程•模型训练•模型预测特征口径混乱•特征重复开发•统计口径不一致迭代效率低下算法之间难以协同特征工程模型预测业务服务A模型训练模型训练特征工程模型预测业务服务C模型训练算法数据平台工业革命：算法数据平台搭建离线特征平台实时特征平台模型管理平台数据图谱回放平台在线策略平台离线训练平台SparkMLXGBoostTensorFlowHadoop/Yarn实时特征工程算法深入到配送各个环节调度站点批次规划静态位置信息动态静态干线运力规划静态仓储批次传统物流即时物流调度骑手负载情况动态位置信息动态动态商家出餐情况动态当前路网情况实时特征工程数据到知识的淬炼过程收集分拣计算发布APP业务服务数据库API管道Binlog管道路由规则运单表结算表订单表骑手状态事件运单全流程预估运单信息宽表骑手信息表骑手状态事件骑手信息宽表并行调度区域1计算分片区域1计算分片区域1计算分片特征1特征2特征3区域维度特征池特征4特征5特征6商家维度特征池区域1特征1特征组1特征2商家1特征3特征组2特征4数据=实时和数字信息=有组织的数据知识=提炼的信息数据上报统一标准化路由规则灵活配置化计算可扩展并行化存取高性能聚合化收集侧实时特征工程数据管道数据格式APPAPI网关上报SDK后端服务上报SDK数据库算法服务上报SDKCanalSchema转换Kafka实时数据总线Binlog通道Kafka实时数据总线API通道统一Schema表名：****维度：区域/商家/运单维度值：1101数据：{a:1,b:2,…}维度区域商家骑手运单GeoHash分拣侧实时特征工程数据汇集数据存储订单ID菜品订单金额运单ID区域ID订单ID配送距离商家ID预计未来平均出餐时间运单ID骑手ID到店时间商家ID预计未来平均配送时长API管道Binlog管道订单表运单表区域维度时间预估商家维度时间预估骑手到店时间缓存关联配置分拣规则引擎运单ID区域ID订单ID菜品配送距离预计未来平均配送时长预计未来平均出餐时间到店时间运单维度内存宽表字段映射规则索引生成规则数据内存化Schema动态化数据量大分布式内存表动态Protobuf计算侧实时特征工程调度层计算层数据层定时触发事件触发任务队列任务队列计算分片1内存数据库SQL引擎计算分片2内存数据库SQL引擎计算分片3内存数据库SQL引擎特征计算配置分布式内存表特征库计算架构逻辑表达效率•学习成本低•开发成本低•无需发版•表现力强•开发成本高•学习成本高SQLUDF发布侧实时特征工程特征门户聚合特取门户调度提单页ETA补贴定价补贴定价C端定价实时特征库特征组1：区域维度特征1特征2特征3特征组2：商家维度特征4特征5特征6实时特征库特征1特征2特征3特征4特征5特征6特征4特征5特征6特征4特征5特征6读爆炸问题离线特征工程算法深入到配送各个环节订单数据用户数据商家数据骑手数据智能配送系统骑手画像商家画像区域画像城市画像用户画像•路线熟悉度•个人承载能力•骑手行为模型•供需平衡情况•地理路况情况•取餐难度•出餐时间•品类体积•精准交付点•交付难度大数据平台（Hive/ETL/MR/Spark）配送业务时间预估骑手语音助手配送范围规划骑手补贴定价配送费定价智能调度天平爆单配送区域规划如何将线下的特征（画像数据）应用到线上，支撑配送各个子业务高并发以及算法快速迭代，是离线特征平台要解决的问题！线下线上离线特征工程算法深入到配送各个环节缓存聚合骑手画像商家画像区域画像城市画像用户画像KV集群ETL20商家100特征2000KV每次100KV20次mget缓存mget的TP99约5~10ms，20次mget，TP99接近100ms，而上游超时时间约80ms，服务连2个9都无法保证。特征1特征2……特征n聚合KV同一维度特征特征1特征2……特征n特征1KV特征2KV……特征nKVDB集群ETL获取一个KV的耗时不到1ms，似乎性能不是问题Spark-JOB统一聚合完全配置化算法模型平台算法深入到配送各个环节算法种类多样LRGBDTRFRNNLSTMXGBDNN训练平台多样SparkMLTensorFlowXGB异构资源支持GPUCPU移动设备提供统一的模型训练、发现、部署、切换、降级等解决方案，为ML和DL模型实时计算提供高可用线上预测服务目标算法模型平台算法深入到配送各个环节统一A适配B优化C模型格式预测接口LRGBDTSVMBayesRFPMML学习平台异构资源交互协议线下训练线上预测SparkMLTFXGBCPUGPULocalRemote统一接口gRPCThrift/RPC开源PMML库性能差？TF性能提升5倍算法模型平台算法深入到配送各个环节SparkMLTensorFlowXGBoost训练平台（YARN）HDFS算法模型平台（WebConsole）模型调度器ZK模型状态机指令中枢MetaStore(MySQL)资源路由HttpFS代理业务服务A(节点1)ModelAgent模型数据预测模块业务服务A(节点1)ModelAgent模型数据预测模块业务服务A(节点1)ModelAgent模型数据预测模块ModelServer(节点1)ModelAgent模型数据预测执行模块ModelServer(节点2)ModelAgent模型数据预测执行模块ModelServer(节点3)ModelAgent模型数据预测执行模块业务服务B(节点1)ModelAgent路由模块预测Facade业务服务B(节点2)ModelAgent路由模块预测Facade业务服务B(节点3)ModelAgent路由模块预测Facade指令通道心跳保持HDFS本地计算方式远程计算方式本地计算vs.分布式计算算法模型平台本地计算效率分布式计算•占用业务服务资源•本地计算性能高•无额外网络开销•模型计算与业务解耦•高度并行化•集群计算资源异构•额外网络开销业务服务1ModelAModelB模型调度器业务服务1ModelAModelBHDFS模型调度器HDFSModelServer1ModelAModelBModelEModelFModelServer2ModelAModelB业务服务2业务服务1业务服务1单机多线程多机多线程CPU+GPU模型Sharding算法模型平台分区模型1ModelServer1分区模型3分区模型2分区模型4业务服务ModelAgent预测Facade路由模块分区模型1ModelServer2分区模型5分区模型2分区模型6分区模型3ModelServer3分区模型3分区模型4分区模型4超大模型，单机资源装不下？大模型按照配送区域、城市进行分区训练，每个区域或者城市产生一个小模型。A/B实验平台算法深入到配送各个环节更多更快更好配送AB实验的特点在线策略平台传统AB实验策略之间相互影响配送AB实验特点策略效果滞后线下因素影响大调度时间预估骑手行为面向C端用户进行流量选择流量之间独立决策、互不干扰配送AB实验在线策略平台独占流量试验区并行试验区哈希分桶UUID哈希骑手ID哈希地理位置哈希调度提单页ETA补贴定价补贴定价列表页ETAC端定价分时间片哈希分桶区域城市ABABABBABABAABABABAAAAAA区域城市UUID哈希骑手ID哈希地理位置哈希单层实验必保证流量互斥才可保证实验正交分层实验每一层哈希均匀即可保证实验正交外卖C端分时间片对照在线策略平台策略A策略B策略A策略B策略A策略B策略A策略B策略A策略B策略A策略B第二天第三天第四天第五天第六天第一天策略A/B在两组区域类交替切换，最大限度减少线下因素的影响，确保实验科学、公正A/B实验平台算法深入到配送各个环节实验前实验中试验后流量选择AA回朔指标体系分流统一埋点效果分析实验报告•配送业务介绍•机器学习在美团配送中的应用•美团配送算法数据平台演进历程•数据闭环和平台化数据闭环问题问题在哪里？上下文收集特征收集模型计算日志收集分流实验业务服务上层业务算法支撑线上数据线下数据特征平台模型管理版本管理分流实验算法Dashboard业务数据库MySQL特征缓存特征数据模型文件离线业务数据HiveFlume日志Hive54112331模型不知道由那些特征数据训练生产2Flume日志无法自动追溯到业务3缺少算法自动评估4算法执行结果没有统一可追溯的日志5算法依赖的上下文数据无法追溯数据缺乏闭环问题1平台化问题问题在哪里？问题驱动方式解决问题实时特征平台离线特征平台模型管理平台在线策略平台解决实时特征提取效率问题解决离线特征行问题解决模型在线使用问题解决灰度实验问题能力之间缺乏协同，不像一个完整平台！问题2数据闭环与平台化平台建设的方向转变数据闭环平台化•数据血缘•特征提取•模型训练•线上预测•AB实验评估•数据图谱•离线特征平台•实时特征平台•模型管理平台•AB实验平台数据闭环数据闭环与平台化分流实时特征离线特征上下文数据算法全流程日志（Threadlocal）算法模型规则输入输出结果算法日志库（HIVE）算法Dashboard原始数据库事实数据库宽表主题数据库特征应用层训练数据集模型数据血缘关系图谱机器学习定义语言数据闭环与平台化MLDL模型训练特征提取数据准备线上预测评估分析算法数据平台特征服务实验平台模型服务训练平台数据图谱其他工具集选取数据（特征+上下文）选取数据（特征+上下文）指定数据加工方式指定机器学习算法训练线上部署