推荐系统概述

大数据，成就未来推荐系统概述2020/11/121个性化推荐系统的应用目录什么是推荐系统2推荐系统实验方法3推荐系统评测指标4小结53信息超载问题互联网的出现和普及给用户带来了大量的信息，但随着网上信息量的大幅增长，用户在面对大量信息时无法获得对自己真正有用的部分，对信息的使用效率反而降低了。人们越来越难从大量的信息中找到自身感兴趣的信息，信息也越来越难展示给可能对它感兴趣的用户,无论是信息消费者还是信息生产者都遇到了挑战。解决方案信息过滤系统搜索引擎，推荐系统什么是推荐系统背景介绍4定义搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。分类目录Yahoo，Hao123搜索引擎Google，百度需要用户提供明确的需求什么是推荐系统搜索引擎5不需要用户提供明确的需求基本概念推荐系统就是根据用户的历史行为、社交关系、兴趣点、所处上下文环境等信息去判断用户当前需要或感兴趣的物品/服务的一类应用；核心任务是联系用户和信息,对用户而言，推荐系统能帮助用户找到喜欢的物品/服务，帮忙进行决策，发现用户可能喜欢的新事物；对商家而言，推荐系统可以给用户提供个性化的服务，提高用户信任度和粘性，增加营收。什么是推荐系统推荐系统6主动化从用户角度考虑，门户网站和搜索引擎都是解决信息过载的有效方式，但它们都需要用户提供明确需求。推荐系统不需要用户提供明确的需求，而是通过分析用户和物品的数据，对用户和物品进行建模，从而主动为用户推荐他们感兴趣的信息。什么是推荐系统推荐系统与搜索引擎7个性化推荐系统能够更好的发掘长尾信息，即将冷门物品推荐给用户。热门物品通常代表绝大多数用户的兴趣，而冷门物品往往代表一小部分用户的个性化需求。如果说搜索引擎体现着马太效应的话，那么长尾理论则阐述了推荐系统发挥的价值。什么是推荐系统推荐系统与搜索引擎8传统的80/20原则受到挑战80%的销售来自20%的热门商品互联网条件下，货架成本及其低廉，不热门的商品数量及其庞大，但这些长尾商品的总销售额是不可小觑的数字。要通过发掘长尾提高销售额，必须研究用户兴趣推荐系统通过发掘用户行为，找到用户的个性化需求，将长尾商品推荐给需要它的用户。什么是推荐系统长尾理论与推荐系统91994,Minnesota,GroupLens研究组论文提出“协同过滤”的概念推荐问题的形式化影响深远(AnOpenArchitecture)1997年Resnick等人首次提出推荐系统（recommendersystem，RS）一词，自此，推荐系统一词被广泛引用，并且推荐系统开始成为一个重要的研究领域。推荐系统的发展推荐问题的发展历史1998年亚马逊（Amazon.com）上线了基于物品的协同过滤算法，将推荐系统推向服务千万级用户和处理百万级商品的规模，并能产生质量良好的推荐。2003年亚马逊的Linden等人发表论文，公布了基于物品的协同过滤算法，据统计推荐系统的贡献率在20%~30%之间。推荐系统的发展推荐问题的发展历史112006年10月，北美在线视频服务提供商Netflix宣布了一项竞赛，任何人只要能够将它现有电影推荐算法Cinematch的预测准确度提高10%，就能获得100万美元的奖金。该比赛在学术界和工业界引起了较大的关注，极大地推动了推荐系统的发展。2007年第一届ACM推荐系统大会在美国举行，到2017年已经是第11届。这是推荐系统领域的顶级会议.2016年，YouTube发表论文，将深度神经网络应用推荐系统中，实现了从大规模可选的推荐内容中找到最有可能的推荐结果。推荐系统的发展推荐问题的发展历史12个性化推荐系统的应用基本的推荐方法向朋友咨询喜欢的明星排行榜分类社会化推荐基于内容的推荐基于协同过滤的推荐推荐本质是通过一定的方式将用户和物品联系起来13个性化推荐系统需要依赖用户的行为数据需要用户的参与分析大量用户行为日志给不同用户提供不同的个性化页面展示系统组成前台的展示页面后台的日志系统推荐算法个性化推荐系统的应用推荐系统的构成142什么是推荐系统目录个性化推荐系统的应用1推荐系统实验方法3推荐系统评测指标4小结515亚马逊的个性化推荐网站推荐结果缩略图、物品信息客户评分推荐理由个性化推荐系统的应用电子商务16基于物品的推荐算法个性化推荐系统的应用电子商务17相关推荐列表浏览此商品的顾客也同时浏览购买此商品的顾客也同时购买打包销售个性化推荐系统的应用电子商务18个性化推荐系统的应用电影和视频网站19个性化推荐系统的应用电影和视频网站20个性化推荐系统的应用电影和视频网站21音乐是很适合推荐的物品物品空间大消费代价小物品种类丰富物品重用率高上下文相关次序很重要高度社会化个性化推荐系统的应用个性化音乐网络电台22前端特点不允许点歌给出用户反馈方式个性化推荐系统的应用个性化音乐网络电台23个性化推荐系统的应用24个性化阅读个性化推荐系统的应用25基于位置的服务个性化推荐系统的应用4.社交网络Facebook应用场景26基于Facebook好友的个性化推荐列表271个性化推荐系统的应用目录什么是推荐系统2推荐系统实验方法3推荐系统评测指标4小结528离线实验的方法一般由如下几个步骤构成通过日志系统获得用户行为数据,并按照一定格式生成一个标准的数据集;将数据集按照一定的规则分成训练集和测试集;在训练集上训练用户兴趣模型,在测试集上进行预测;通过事先定义的离线指标评测算法在测试集上的预测结果。特征选择过程必须确保不丢失重要特征推荐系统实验方法离线实验29离线实验的特点推荐系统的离线实验都是在数据集上完成的,它不需要实际的系统来供它实验,而只要有一个从实际系统日志中提取的数据集即可。这种实处是不需要真实用户参与,可以直接快速地计算出来,从而方便、快速地测试大量不同的算法主离线实验的指标和实际的商业指标存在差距,比如预测准确率和用户满意度之间就存大差别、高预测准确率不等于高用户满意度。推荐系统实验方法离线实验30用户调查背景如果要准确评测一个算法,需要相对比较真实的环境。最好的方法就是将算法直接上线测试,但在对算法会不会降低用户满意度不太有把握的情况下，上线测试具有较高的风险。上线测试前一般需要做一次称为用户调查的测试用户调查过程用户调查需要有一些真实用户,让他们在需要测试的推荐系统上完成一些任务在他们完成任务时,观察和记录用户的行为,并让他们回答一些问题。通过分析他们的行为和答案了解测试系统的性能。推荐系统实验方法用户调查31用户调查的实施用户调查是推荐系统评测的一个重要工具,很多离线时没有办法评测的与用户主观感受有关的指标都可以通过用户调查获得。用户调查,用户调查成本很高,需要用户花大量时间完成一个个任务,并回答相关的问题。有些时候,还需要花钱雇用测试用户。因此,大多数情况下很难进行大规模的用户调查,而对于参加人数较少的用户调查,得出的很多结论往往没有统计意义。测试用户也不是随便选择的•需要尽量保证测试用户的分布和真实用户的分布相同，比如男女各半,以及年龄、活跃度的分布都和真实用户分布尽量相同。•用户调查要尽量保证是双盲实验,不要让实验人员和用户事先知道测试的目标,以免用户的回答和实验人员的测试受主观成分的影响。推荐系统实验方法用户调查32用户调查的优点可以获得很多体现用户主观感受的指标,相对在线实验风险很低，出现情误后很容易弥补用户调查的缺点招募测试用户代价较大,很难组织大规模的测试用户,因此会使测试结果的统计意义不足。在很多时候设计双盲实验非常困难,而且用户在测试环境下的行为和真实环境下的行为可能有所不同,因而在测试环境下收集的测试指标可能在真实环境下无法重现推荐系统实验方法用户调查33AB测试AB测试是一种很常用的在线评测算法的实验方法通过一定的规则将用户随机分成几组，并对不同组的用户采用不同的算法,然后通过统计不同组用户的各种不同的评测指标比较不同算法。推荐系统实验方法在线实验34AB测试的优点AB测试可以公平获得不同算法实际在线时的性能指标AB测试的缺点周期比较长,必须进行长期的实验才能得到可靠的结果大型网站的AB测试系统的设计也是一项复杂的工程推荐系统实验方法在线实验35一般来说,一个新的推荐算法最终上线,需要完成上面所说的3个实验首先,需要通过离线实验证明它在很多离线指标上优于现有的算法。然后,需要通过用户调查确定它的用户满意度不低于现有的算法。最后,通过在线的AB测试确定它在我们关心的指标上优于现有的算法。推荐系统实验方法推荐算法上线过程361个性化推荐系统的应用目录什么是推荐系统2推荐系统评测指标4推荐系统实验方法3小结537用户作为推荐系统的重要参与者、其满意度是评测推荐系统的最重要指标。用户满意度没有办法离线计算、只能通过用户调查或者在线实验获得。用户调查获得用户满意度主要是通过调查问卷的形式推荐的论文都是我非常想看的。推荐的论文很多我都看过了,确实是符合我兴趣的不错论文。推荐的论文和我的研究兴趣是相关的,但我并不喜欢。不知道为什么会推荐这些论文,它们和我的兴趣丝毫没有关系。推荐系统评测指标用户满意度38预测准确度度量一个推荐系统或者推荐算法预测用户行为的能力这个指标是最重要的推系统离线评测指标标在计算该指标时需要有一个离线的数据集,该数据集包含用户的历史行为记录然后,将该数据集通过时间分成训练集和测试集最后,通过在训练集上建立用户的行为和兴趣模型预测户在测试集上的行为,并计算预测行为和测试集上实际行为的重合度作为测准确度。推荐系统评测指标预测准确度39评分预测用户给推荐物品打分的功能预测用户对物品评分行为称为评分预测均方根误差（RMSE)平均绝对误差（MAE)推荐系统评测指标预测准确度2,()RMSE=||uiuiuiTrrT,||MAE=||uiuiuiTrrT40TopN推荐给用户的一个个性化推荐列表TopN推荐使用准确率和召回率度量准确率（Precision)召回率（Recall)推荐系统评测指标预测准确度|()()|Precision=()uUuURuTuTu|()()|Recall=()uUuURuTuRu41覆盖率(coverage)描述一个推荐系统对物品长尾的发掘能力覆盖率有不同的定义方法，最简单的定义为推荐系统能够推荐出来的物品占总物品集合的比例。一个好的推荐系统不仅需要有比较的用户满意度,也要有较高的覆盖率信息熵基尼系数推荐系统评测指标覆盖率|()|Coverage=||uURuI1H=()log()nipipi11G=(21)()1njjnpin42为了满足用户广泛的兴趣,推荐列表需要能够覆盖用户不同的兴趣领域,即推荐结果需要具有多样性。多样性推荐列表的好处用一句俗话表述就是“不在一棵树上吊死”多样性描述了推荐列表中物品两两之间的不相似性推荐系统评测指标多样性,(),(,)Diversity(())=1-1|()|(|()1)2ijRuijsijRuRuRu1Diversity=Diversity(())||uURuU43用户对推荐结果的信任程度在电子商务推荐系统中,让用户对推荐结果信任是非常重要的提高推荐系统的信任度主要有两种方法需要增加推荐系统的透明度而增加推荐系统透明度的主要办法是提供推荐解释。只有让用户了解推荐系统的运行机制,让用户认同推荐系统的运行机制,才会提高用户对推荐系统的信任度。其次是考虑用户的社交网络信息,利用用户的好友信息给用户做推荐,并且用好友进行推荐解释。推荐系统评测指标信任度44物品(新闻、微博等)具有很强的时效性，这样