推荐系统研究进展及展望

，刘鲁11北京航空航天大学经济管理学院，北京(100083)E-mail：[e-mail]摘要：在网络和电子商务环境下，推荐系统得到了广泛的应用。本文研究推荐系统的理论、方法、技术、评价和应用问题，在分析目前国内外推荐系统的理论研究和应用现状的基础上，从用户信息收集和用户建模、个性化推荐算法、推荐系统的评价、推荐系统的应用和社会影响研究四个方面展开了详细和系统的评述，探讨了其中关键技术，建立了推荐系统在银行业、知识管理、客户关系管理中的应用框架，最后指出推荐系统未来研究热点和发展方向。关键词：推荐系统；协同过滤；电子商务；在线拍卖中图分类号：TP3111．引言随着Internet的发展，Internet为用户提供越来越多信息和服务的同时，其结构变得更加复杂，在网络上的海量信息中，用户及时地获得所需要的信息也更加困难。一方面，用户面临对大量的信息束手无策，经常会迷失在大量的信息空间中；另一方面，网站也失去了与用户的联系，不能与用户建立稳固的合作关系。在这种背景下推荐系统（RecommenderSystems）应运而生，它根据用户的兴趣爱好推荐符合用户兴趣爱好的对象。推荐系统模拟商店销售人员向用户提供商品推荐，不仅帮助用户找到所需信息，而且通过推荐系统，网站可以有效保留用户，重建客户关系，提高网站的点击率和用户的忠诚度[1]。基于以上原因，从20世纪90年代中期推荐系统的概念出现至今，推荐系统得到了飞速发展。电子商务、网上交易的蓬勃兴起，信息技术的进步，给推荐系统提供了良好的契机和发展平台。由于巨大的应用需求，推荐系统得到了广泛的关注，许多国内外学者研究推荐系统，ACM多次把推荐系统作为研讨主题，众多国内外期刊也纷纷将推荐系统作为研究专题。我国也比较重视推荐系统的研究和应用，国家自然科学基金曾资助过“面向电子商务的顾客偏好分析与个性化分析系统”、“电子商务个性推荐系统及应用研究”。本文属于国家自然科学基金资助项目（No.70371004）“电子商务个性化推荐系统及应用研究”的研究成果之一。本项目组在三年中开展了大量的推荐系统理论和应用研究工作，取得了丰硕的成果。本文在项目研究基础上，对研究成果进行总结和展望，介绍推荐系统理论、方法、应用中的关键技术以及未来研究热点。本文结构安排如下：第二章分析了国内外目前推荐系统的研究现状，第三、四、五、六章对自然基金研究项目“电子商务个性化推荐系统及应用研究”研究成果进行总结，分别从用户信息获取和建模、推荐算法研究、推荐系统的评价问题、推荐系统的应用和社会影响研究四个方面系统介绍推荐系统的理论、方法、应用中的关键技术；最后本文探讨了推荐系统的研究热点和未来发展方向。2．推荐系统研究内容和国内外研究现状2.1推荐系统研究内容推荐系统是根据用户的兴趣爱好推荐符合用户兴趣的对象，也称为个性化推荐系统。由于推荐系统可以辅助企业达到个性化营销的目的，进而提升销售量，为企业创造最大的利润，1本课题得到高等学校博士学科点专项科研基金（项目编号：20040006023）的资助。使得许多电子商务企业开始重视推荐系统的应用。国内外很多学者进行相关的研究工作，推荐系统的研究主要包括以下几个方面：（1）用户信息获取和建模。早期的推荐系统只需获取简单的用户信息，随着推荐系统发展，推荐系统由简单的信息获取转变为和用户交互的系统，需要考虑用户多兴趣和用户兴趣转变的情况，将数据挖掘应用到用户信息获取中，挖掘用户的隐性需求。（2）推荐算法研究。要实现被顾客接受和认可的个性化推荐，设计准确、高效率的个性化推荐算法是核心。基于内容的推荐和协同过滤是最主要的两种。为了克服各自的缺点，可以将各种推荐方法混合使用，以提高推荐精度和覆盖率。同时，信息获取和人工智能，以及模糊推荐等相关领域的引入扩宽了推荐算法的思路。（3）推荐系统的评价问题。要使推荐系统为广大用户所接受，必须对推荐系统作出客观综合的评价。推荐结果的准确性和可信性是非常重要的两个方面。如何对推荐结果的准确性进行判定，如何把推荐结果展示给用户以及如何获取用户对推荐结果的评价都是需要深入研究的问题。（4）推荐系统的应用和社会影响研究。需要建立推荐系统在其他应用领域的应用框架，研究如何与企业其它信息系统的集成。2.2国外研究现状在用户模型方面，常用的用户建模技术有向量空间模型[2]、用户评价矩阵[3]，以及机器学习技术[4]。文献[5]提出使用智能代理技术来分析顾客的需求，并建立用户模型，并据此提供推荐服务。在推荐算法方面，协同过滤技术是应用最广泛的个性化推荐技术，基于用户之间的相似性，即邻居用户产生推荐结果。随着推荐系统规模的扩大，实时性研究逐渐成为热点。文献[6]使用奇异值分解技术减少特征向量空间的维数，提高最近邻居的搜索速度。文献[7]对用户最近邻居和项采用不同权重的方法来提高推荐质量。由于传统的协同过滤技术根据用户显式评分产生推荐结果，用户使用不方便，很多研究者提出可以通过web挖掘技术获取用户隐式评分，由此，各种数据挖掘技术也开始应用到推荐系统中。文献[8]中提出了一个利用神经网络和遗传K-means算法通过分析用户在电子商务网站的浏览路径来获取用户偏好的方法。各种挖掘技术如关联规则挖掘、聚类挖掘等被应用于web日志的分析中，以提高推荐系统的精度。推荐系统的可移植性和信任问题得到了广泛的关注。基于peer-to-peer环境，通过在客户端对用户信息的控制，即使在离线时也能进行推荐，提高了推荐的准确性。还有推荐系统的实时性，算法的伸缩性，用户的信任等等融合了信息获取，数据挖掘，人机交互，自然语言处理，心理学，社会行为研究相关领域都是最近研究的热点。推荐系统的应用方面，推荐系统是信息检索和信息过滤领域的研究热点，得到了许多著名研究机构和研究者的关注，出现了一些研究型推荐系统实例：（1）TYPESTRY：XeroxPARC研究中心提出的一个研究型协同过滤推荐系统，用于过滤电子邮件、推荐电子新闻。，它通过自有的TQL语言，客户查询请求中必须明确指出与自己兴趣爱好相似的其它客户，因此只适用于客户群体比较小的场合。（2）ACF：ActiveCollaborativeFiltering系统是Carnegie－Mellon大学开发的主动协同过滤推荐系统，ACF系统通过指针实现协同过滤推荐服务，用于电子文档推荐。它与TYPESTRY系统一样只适用于用户群体较小的场合。（3）GroupLens：自动协同过滤推荐系统，用于新闻组信息荐。GroupLens系统通过用户的评分信息自动搜索用户的最近邻，然后根据最的评分信息产生最终的推荐结果，适合于用户数量比较大的场合。（4）MovieLens：Minnesota大学开发的研究型自动协同过滤推荐系统，用于推荐电影。与GroupLens不同，MovieLens是一个基于web的推荐，系统通过浏览器方式进行用户评分数据收集与推荐结果显示，用户使用更方便。（5）Ringo：由MIT媒体实验室开发的研究型协同过滤推荐系统，用于提供化的音乐推荐服务。Ringo系统可以向用户推荐他们喜欢的音乐，预测用户不喜欢的音乐，也可以预测用户对特定音乐的评分。（6）VideoRecommender：BellCore开发的协同过滤推荐系统，用于电影。VideoRecommender系统通过电子邮件方式收集用户评分数据，提供推荐服务。（7）FAB：Stanford大学数字图书馆项目组开发的基于内容的过滤和协同过滤符合推荐系统，用于推荐web页面。其特点是综合了基于内容过滤的推荐和过滤推荐的优点，同时支持两种类型的推荐服务[1]。除了研究型推荐系统之外，随着推荐系统理论和技术的成熟，推荐系统在电子商务得到了广泛的应用。推荐系统的应用领域包括书本，CD，电影，新闻，电子产品，旅游，金融服务和其他许多产品和服务。表1列出了部分采用协同过滤技术的网站[1]。表1部分采用协同过滤技术的网站系统名称推荐产品类型网址CDNow.comCD唱片电影电影电影http：//图书网页网站寻友笑话幽默音乐国内研究现状国内目前的研究多集中在推荐系统的理论和技术方面，取得了丰硕的成果。针对评价数据的稀疏性，文献[9]提出一种优化的协同过滤推荐算法，文献[10]提出了一种基于项目评分预测的协同过滤推荐算法，采用一种新颖的相似性度量方法计算目标用户的最近邻居。针对算法的可扩充性，文献[11]提出基于项目聚类的协同过滤推荐算法，显著地提高推荐系统的推荐质量。以上各类推荐技术都各有优缺点，因此许多研究者提出结合多种过滤技术，以克服各自的优缺点。例如文献[12]提出基于内容和合作模式的信息推荐机制，文献[13][14]提出基于语义相似性的资源协同过滤技术。文献[15]对稀疏问题和冷启动问题做了系统研究，文献[1]研究了基于神经网络和模糊逻辑的智能推荐系统。文献[16]将推荐系统的应用领域扩展到数字图书馆。在应用方面，国内在个性化推荐方面做的比较好网站有互动出版网上书店（），北京人大金仓信息技术有限公司的数字图书馆个性化推荐系统KingbaseDL，网上文章推荐360doc小助手（）等等。KingbaseDL建立了丰富的用户兴趣模型，通过基于内容的推荐和协同推荐相结合的方式把各种数字资源主动推送给用户，同时接受用户反馈，并不断完善用户兴趣模型，提高推荐精度。360doc利用的文章进行内容相关性判断，在高度相关的文章之间建立联系，当新文章进来，360doc判断是否和你的收藏兴趣接近并以此判断是否推荐。自然基金项目“电子商务个性化推荐系统及应用研究”项目组进行了一系列推荐系统相关的研究工作。下文将项目研究成果进行总结，从用户信息获取和建模、推荐算法研究、推荐系统的评价问题、推荐系统的应用研究四个方面系统介绍推荐系统理论、方法、应用中的关键技术以及未来研究热点。3.用户信息获取和建模用户信息获取与建模是个性化推荐系统研究和应用需要解决的一个关键议题。用户信息获取已由简单的信息输入转变成与用户的交互，以便能获得更多的信息，将推荐系统由购物助手转变成辅助决策的工具。文献[17]对用户建模领域的相关技术进行系统评述，并着重分析了用户建模过程中所面临的关键议题，指出推荐系统用户建模领域的一些发展方向。针对信息过载问题，文献[18]提出了一种基于内容分析的信息推荐方法，该方法使用神经网络作为知识表示和推理机制来建立用户兴趣模型，然后以用户模型为基础来预测用户对信息的偏好程度，并据此做出信息推荐。在对用户建模时，应充分考虑用户短暂兴趣和兴趣容易发生变化的特征。针对现有用户兴趣建模方法在处理用户兴趣多样性和动态性特征时存在的缺点，文献[19]提出了一种基于改进型成长单元结构神经网络的用户兴趣建模方法。该方法将用户兴趣建模过程映