搜索
爱奇艺推荐中台探索与实践张时骏爱奇艺高级经理自我介绍自我介绍毕业于上海交通大学计算机系，现任爱奇艺高级技术经理一职，爱奇艺推荐中台的总架构师。在爱奇艺从事推荐引擎架构和开发工作，近几年专注于分布式高并发线上引擎的架构，搭建了热点信息流、小视频信息流等推荐引擎。目前正在致力于爱奇艺推荐中台的建设，旨在帮助公司内各业务团队能够以低成本、高效率、高产出的方式获取一套完整的推荐服务及其周边配套设施，快速实现业务目标。目录•推荐中台背景•推荐中台架构•推荐中台实践问题一：推荐形式不同问题二：推荐实体不同问题三：推荐需求不同•业务对接效果需求排期，堆积如山推荐中台背景业务方重复造轮子推荐业务小视频热点动漫看点推荐实体竖屏小视频横屏视频图文漫画直播推荐形式个性化推荐信息流推荐相关推荐主题推荐推荐需求入场规则时效性多样性AB实验目录•推荐中台背景•推荐中台架构•推荐中台实践问题一：推荐形式不同问题二：推荐实体不同问题三：推荐需求不同•业务对接效果推荐闭环实体数仓推荐池算法引擎用户行为数据推荐中台整体架构多端适配（APP/PC/H5/PAD/VR/TV…）爱奇艺TOC个性化用户触达系统爱奇艺TOC短视频推荐触达系统爱奇艺APPPCVRTV…APP泡泡好多纳豆姜饼无际PPS…基础服务平台审核平台分布式在线机器学习平台用户数据分析平台通用ABTEST平台标注平台大数据存储和服务平台内容生产系统爱奇艺号PGC优质内容优质卡段（人工，AI）爱奇艺推荐中台基础内容理解组件基础用户画像多路召回排序（粗排，精排、Rerank）融合控制特殊策略干预通用推荐池平台用户兴趣试探保量系统通用特征服务新内容试探推荐中台内部架构内容理解分类体系内容标签深度特征质量评估推荐池视频图文直播漫画轻小说…线上引擎用户兴趣召回过滤粗排精排多样性控制Workflow配置平台基本配置模块配置报表效果总表AB实验报表用户画像静态画像短期画像中期画像长期画像召回模型热门召回相关召回协同召回向量召回排序模型LRFMGBDTDNN特征工程Meta特征统计特征向量特征环境特征推荐中台内部架构：推荐池长，短，小视频智能特征库非视频数据爱奇艺号数据自定义数据源适配数据生产源用户行为数据数据校验实时监控辅助功能漏斗分析HAsnapshot文件近实时Hbase表去重mapping推荐池数据服务实时更新消息推荐池通用逻辑层通用元数据转换实体关联通用去重数据补偿/纠错通用缓存统一数据拓扑/字典推荐池运维服务一站式workflow配置平台自动化部署toolkit业务推荐池孵化器规则引擎准入/过滤/退场业务去重干预后台推荐中台内部架构：内容理解分类体系内容标签质量评估内容风险评估内容深度表示通用内容理解组件文本理解图像理解多模态特征融合视频理解音频理解内容理解基础技术产品标签体系定制业务线标准适配产品用户群行为适配业务定制化组件内容理解服务在线服务消息推送智能特征库推荐中台内部架构：特征工程特征仓库特征文件实时特征消息特征查询特征运维部署平台一站式workflow配置平台特征运维特征校验任务监控服务降级附加服务HAmeta特征统计特征深度特征特征数据业务隔离解析配置数据规范特征数据源接入平台实时特征计算平台实时特征归一化实时统计特征框架session特征框架实时meta特征框架用户行为实时ETL细粒度延迟监控告警多机房互备（HA）实时/离线规范统一流式ETL处理框架离线特征计算平台数据转化统计特征计算框架数据源解析meta特征计算框架特征ID服务化外部特征接入框架正排服务化特征归一化推荐中台内部架构：算法数据接入数据格式规约数据同步流程样本处理流程配置文件排序模型线性模型树模型深度学习模型多目标模型融合监控离线评估产出校验画像数据监控超时监控覆盖监控标签标准化标签计算数据抽取兴趣计算数据清洗兴趣衰减兴趣合并业务画像静态兴趣短期兴趣中期兴趣长期兴趣标签扩展基础画像全站基础画像召回多模型融合•新用户模版召回•兴趣不足时的召回拓展冷启试探•实体词&主题词召回•分类召回•语义Embedding模型相关召回•Item协同过滤•行为Embedding模型协同召回•全局热门•区分用户群的热门热门召回厌倦惩罚召回配比质量控制策略推荐中台内部架构：引擎用户兴趣服务兴趣获取兴趣衰减兴趣试探负反馈过滤兴趣冷冻Root服务人工干预融合控制定向运营AB分流保量系统上线部署配置平台UIAB实验配置平台一站式workflow配置平台召回服务平台向量召回服务向量召回倒排召回服务标签召回协同召回附加服务多语言实时监控智能降级HA回滚机制服务发现调用链特征服务离线特征实时特征特征填充特征转换引擎现场模型服务DNNFMGBDTLR粗排服务单路粗排多路粗排多样性控制多目标精排多样性控制模型Rerank精排服务目录•推荐中台背景•推荐中台架构•推荐中台实践问题一：推荐形式不同问题二：推荐实体不同问题三：推荐需求不同•业务对接效果问题一：推荐形式不同个性化推荐信息流推荐相关推荐主题推荐解决方案一：统一接口参数含义area推荐区域，绑定策略配置passport_id登录IDdevice_id设备IDcontext_id上下文ID，相关推荐session_id会话ID，翻页去重theme_id主题ID，主题推荐解决方案一：统一流程用户画像推荐历史一级召回一级排序Rerank是否个性化是否信息流是否主题模式二级召回二级排序YYNNYN请求响应解决方案一：召回仓库热门召回标签召回协同召回主题召回地域召回向量召回协同过滤Word2VecDSSM解决方案一：模型仓库FactorizationMachinesLogisticRegressionGBDTWide&DeepDeepFM目录•推荐中台背景•推荐中台架构•推荐中台实践问题一：推荐形式不同问题二：推荐实体不同问题三：推荐需求不同•业务对接效果问题二：推荐实体不同竖屏小视频横屏视频图文漫画直播解决方案二：统一实体字段原始字段名映射字段名通用字段定义idIdname/titlenamepicture_url/cover_urlpicture_urlfirst_publish_timefirst_online_timefirst_publish_timeis_valid/is_onlineis_valid业务独有字段定义live_statusliveroom_live_status解决方案二：推荐池合并爱奇艺小视频好多小视频片段VLOG剧头条影讯奇秀直播游戏直播竖屏视频公共池横屏视频公共池图文公共池直播公共池视频公共数据图文公共数据直播公共数据中台业务同类推荐池公共层数据解决方案二：通用特征通用特征展示量点击量点击率长点击率平均观看时长消费金额新鲜度热度…业务方提供特征解决方案二：自定义特征目录•推荐中台背景•推荐中台架构•推荐中台实践问题一：推荐形式不同问题二：推荐实体不同问题三：推荐需求不同•业务对接效果问题三：需求不同入场规则时效性多样性AB实验业务方提供入场规则脚本解决方案三：入场规则脚本业务方提供LUA过滤脚本解决方案三：引擎在线过滤插件解决方案三：可配置化配置平台时效性配置多样性配置保量配置运营配置AB实验报表系统目录•推荐中台背景•推荐中台架构•推荐中台实践问题一：推荐形式不同问题二：推荐实体不同问题三：推荐需求不同•业务对接效果提升30%以上业务对接效果未来展望提升对接效率/自动化提升推荐效果/算法优化Q&A