个性化推荐架构设计

个性化推荐架构设计技术创新，变革未来推荐引擎为什么要做推荐系统千万级视频资源月活亿级用户量推荐系统是继搜索之后解决数据过载的重要方法产品形式:首页下拉个性化消费流下载渠道:应用宝、百手等部分渠道下载个性化推荐产品形态产品形式:基于PGC/UGC的个性化短视频推荐APP下载渠道:计划11月底上线iOS&Android个性化推荐产品形态界面交互入口基础界面单视频卡片长视频卡片多视频卡片个性化推荐产品形态搜狐视频推荐系统整体概况➢整合全站视频资源，通过“推荐引擎”和“视频处理引擎”将个性化、新鲜的视频快速分发到以适合场景，以合适形式传递给适合用户➢计算快速：2秒,分布式高可用实时计算，稳定/灵活/易扩展；➢海量数据分析：Online17亿+Offline170亿+➢智能排序：实时特征工程、在线学习、多模型融合➢基础组件：知识库、主题模型、用户/视频画像、实时反馈/统计、独立后台、推荐引擎、视频处理引擎等，保证产品功能完备；推荐系统架构点击日志观影日志展示日志负载均衡LVS负载均衡Nginx应用容器Je/y前端日志接入日志采集Flume实时传输ka7a实时传输Rocketmq数据采集离线计算和分析存储Hdfs实时计算存储hbase推荐引擎storm特征&画像引擎Sparkstreming视频处理引擎Marathon+Mesos缓存redis离线计算MapReduce&Sparkhivemllib….算法C算法A算法B算法N算法库模型库特征A_1排序A_2召回模型A推荐结果视频画像视频评分模型N_2用户画像….召回模型B缓存redis推荐系统架构知识库自然语言处理系统排序特征工程召回模型规则卡片封装实时反馈系统用户画像展示日志处理点击日志处理观影日志处理推荐结果推荐引擎基础组件主题模型评分系统监控系统卡片类型BF个性化配置视频处理引擎视频画像相关服务…主题模型服务推荐系统架构推荐系统推荐结果推荐内容倒排存储indexcard0Card_01Card_12Card_23Card_34Card_4..…..…冯小刚推荐引擎视频处理引擎召回模型配比排序和谐性处理Key倒排存储系统推荐系统架构架构推荐引擎•Bolt:localOrShuffleGrouping&fieldsGrouping•基于Redis一致性(CAS)Kafka用户行为日志用户展示日志观影日志观影日志处理模块行为日志处理模块展示日志处理模块多端用户唯一标示统一Ukey部分实时用户画像推荐结果推荐系统架构-推荐引擎(storm)观影处理模块行为处理模块展示处理模块召回模型配比indexcard0Card_01Card_12Card_23Card_34Card_4..…..…排序和谐性处理推荐系统架构-推荐引擎(storm)召回模型•海量的视频中选择用户感兴趣的候选集合的方法配比•多角度看用户(多个召回模型结果融合)排序•统一排序规则、多机器学习模型和谐性处理•多样性、覆盖率推荐系统架构-推荐引擎召回模型•离线：1.SVD++、Slopeone、ALS等矩阵分解模型为离线模型2.如基于图模型和内容推荐的融合:ItemCF-KNN、UserCF-KNN•在线：1.基于自然语言处理系统构建的分类体系、topic、keyword2.基于时间+地理位置的实时场景位置的构建。海量的视频中选择用户感兴趣的候选集合的方法•协同过滤：ItemCF(Slopeone),UserCF,矩阵分解模型(SVD++、RSVD、ALS)、图模型(co-view图模型)•内容过滤：(Content-basedFiltering)•基于人口统计学和社会化过滤(年龄、性别、工作、学历、居住地)•基于位置的过滤(场景和上下信息推荐方式)方法推荐引擎-召回模型配比多角度看用户推荐引擎-配比X1,X2,X3,…,Xn-1Xn,Xn+1,Xn+2….,Xn+19,Xn+20假设有20个召回模型,我们用20维表示，每一维的值，代表配比数量，最大200用户召回模型打开率推荐引擎-配比Score模型排序算CTR[score模型](FTRL、SGD、L-BFGS、FFM)高级特征转化(GBDT、DNN、FM)基础特征工程(Sparkstreaming)特征工程&排序模型在线增量学习架构展示日志点击日志展示日志点击日志展示日志点击日志展示日志点击日志样本数据18:3018:3518:4018:25批量样本高级特征转换FTRLModel训练特征工程&排序模型视频处理引擎视频处理引擎主题模型知识库自然语言处理系统视频视频基础画像1、基于TAG倒排视频2、基于明星、出品人、专辑倒排推荐视频3、基于规则如：一级、二级、Topic等卡片封装和倒排3、视频画像4、卡片类型对应Bloomfilter5、卡片主题分布6、一词多意Blooomfilter…....专辑视频出品人用户行为分析引擎视频处理视频处理引擎Ka7aRedisHbase存储自然语言处理系统计算MesosAgentTaskMarathonExecutorTaskMesosAgentTaskMarathonExecutorTaskMesosAgentTaskMarathonExecutorTaskMesosmasterStandbymasterStandbymasterMarathonschedulerZookeeperquorum引擎视频处理视频处理引擎用户画像&视频画像行为日志观影日志展示日志…人口属性兴趣属性行为属性...原始数据基础数据用户活跃度用户价值人群属性潜在兴趣模型预测…个性化推荐用户画像个性化push画像清洗、结构化、统计建模机器学习建模业务建模业务数据关联视频画像&用户画像视频画像&用户画像一级类二级类长视频喜好短视频喜好用户Level兴趣标签出品人…主题喜好地域明星电视剧专辑搜索Keyword场景:追剧、旅行、公交地铁人群：上班族、学生等召回模型反馈情况性别用户画像一级类二级类适合人群关键词明星主题出品人专辑评分…视频画像如何评价推荐系统离线评级指标在线评级指标用户调查产品体验、用户存留率、点击率等核心指标惊喜度健壮性多样性覆盖率…如何评价推荐系统预测CTR可信吗？•机器学习是典型datadriven的，当训练数据中某种情况的数据不足时，这种情况下的预测值很有可能被其他数据拉偏。•训练数据越多则可信度越高第i维feature非零的训练向量的个数如何评价推荐系统V1V2V3一次用研➢视线流畅；➢入口强化；➢修正回首页误操作；二次用研➢主题卡片可查看更多；➢对主题添加参考置出：•头像、推荐理由；➢其他细节优化：•下加载；•负反馈；•图文宽度占比；•定制模板，非通用模板；如何评价推荐系统测试推荐引擎线上推荐引擎队列分流规则UkeyBF用户切分配比切分配比切分切分A切分B推荐数据打TAG如何测试推荐系统P:编码000,000,000PDNA:G;N;T;P;pointer;vid:site;…..排序编号召回模型编号配比编号如何测试推荐系统