基于社会化标签的推荐系统

基于社会化标签的推荐系摘要随着现代互联网的发展，互联网中的数据每天都以巨大的规模增长着。人们越来越困难的从这海量的数据中找到所需的资源，这里就需要各个网站给用户推荐。而标签技术的出现给个性化推荐带来了新的机遇。社会化标签是一种准确、灵活、开放、有趣的分类方式，是由用户为自己的文章、图片、音频、视频等一系列文件所定义的一个或多个描述。通过对社会化标签的使用来给用户提供优质的选项，以使用户在海量的数据中找到心满意足的信息。关键字：海量数据，社会化标签AbstractWiththedevelopmentoftheInternet,thedataintheinterneteverydaytogrowahugescale.Peopleincreasinglydifficulttofindrequiredresourcesfromthevastamountsofdata,whereeachsiteisrequiredtorecommendtotheuser.Thelabelappearstopersonalizedrecommendationtechnologybringsnewopportunities.Socialtaggingisanaccurate,flexible,open,interestingclassification,whichdefineddescriptionfortheirarticles,images,audio,videoandaseriesofdocuments.Throughtheuseofsocialtagging，wecanprovidetheuserwithhigh-qualityoptiontoenableuserstofindinformationcontentedlyinvastamountsofdata.Key:Hugeamountsofdata,socialtagging1绪论本章主要介绍的是关于社会化标签推荐系统研究的背景，国内外研究的状况和本文研究的方向。1.1研究背景和意义1.1.1研究背景近些年来，blog、wiki、spaces的兴起导致互联网内容的提供方式出现转变；用户创造内容的web2.0时代的到来，带动着视频应用、网络游戏、搜索引擎等互联网衍生业务迅速发展。互联网正处于一个信息爆炸的时代,越来越多的信息被数据化。面对信息爆炸的互联网，如何对这些海量数据进行分类存储和处理，是对那些大规模互联网企业提出了巨大的技术挑战。标签系统在这种环境下应运而生，在以用户为中心的Web2．0环境中，标签系统允许任意用户对感兴趣的网络资源进行无约束的标注，所有用户的标注都互为可见，这种开放的、共享的模式体现了以人为本的Web2．0理念，同时也为新环境中信息资源组织、推荐和共享带来了新的机遇。虽然用户标注这个过程的本身非常简单，但是却有着很重要的意义。首先，用户标注反映了他们对网络资源的不同视角和理解，丰富了描述资源的多维角度；再次，标签系统能更好的为用户组织资源、浏览资源提供帮助。相比较之前的系统大多是依靠少数领域专家对资源进行科学分类，这种方法虽然比较科学和权威，但是不能很好的表达用户的个人想法和观点。而标签系统利用标签将网络资源按照用户的视角进行分类，能够更好的为用户组织资源、浏览资源提供帮助。最后，标签系统通过标签将用户和资源连接起来，通过三者的动态关系，可以分析出用户的兴趣偏好。例如，为同一项目资源标注相同标签的用户，很有可能具有共同的兴趣偏好，这对在标签系统中根据用户兴趣进行推荐提供了很好的基础。总之，标签系统充分发掘了用户的积极性，使之参与到系统中来，发挥了广大用户所贡献的智慧和由用户联系形成的群体智慧的影响，解放了用户创作和贡献的潜能。用户在标注网络资源时，不但更加准确客观的反应资源的相关特征，而且为个性化推荐服务带来了至关重要的数据源。结合标签系统的标签推荐系统，相比较传统的个性化推荐系统可以更加准确的获取用户的特征，为用户获取其“量身定做的信息。从GoogleNews、Amazon、豆瓣、MovieLens等网站看，越来越多的网站已经慢慢开始在利用标签信息进行个性化推荐系统的摸索与应用，以此给用户带来更好的用户体验，从而提高网站流量及用户忠诚度和依赖度。1.1.2研究意义20世纪90年代中期，个性化推荐研究作为一个独立的概念被提出来，由于巨大的应用需求，推荐系统自提出以来得到了学术界和企业界的广泛关注。美国计算机协会多次把个性化推荐系统作为研讨主题，而国内外期刊也纷纷将推荐系统作为研究专题，明尼苏达大学教授JohnRiedl说：“推荐系统将成为未来十年里最重要的变革，社会化网站将由推荐系统所驱动”llJ。由于个性化推荐系统的良好发展和广阔的应用前景，目前，几乎所有大型电子商务系统和各种提供个性化服务的网站，如Amazon、淘宝网和豆瓣网等，都在不同程度的使用着各种形式的个性化推荐系统，个性化推荐系统可以有效的保留客户提高客户忠诚度，为网站带来了巨大的效益。自从2003年标签技术推出以来就得到了广泛的应用，结合标签的个性化推荐系统与以往推荐系统所能获得的信息有了本质区别，标签作为用户自由创造的关键词，体现了用户对资源的理解，也是用户之间联系和交流的纽带，因此使得个性化推荐技术的研究进入了一个新的阶段。标签从用户角度描述了信息资源的主要特征，涵盖了用户与资源之间，以及用户之间的关系，兼具内容与关联的特征。1.2国内外研究现状个性化推荐系统的发展源于二十世纪九十年代，它自产生以来引起了学术界和企业界的关注，对于它的研究一直持续至今。现在被广泛引用的个性化推荐系统的定义是Resnick&Varian在1997年给出的：“它是利用电子商务网站向客户提供商品信息和建议，帮助用户决定应该购买什么产品，模拟销售人员帮助客户完成购买过程。实际中应用最多的是在网上购物环境下以商品为推荐对象的个性化推荐系统，它为用户推荐符合兴趣爱好的商品。个性化推荐系统的最大的优点在于，它能主动的收集用户兴趣特征资料并根据用户兴趣特征，为用户作出有效的个性化推荐。同时，当系统中的商品库或用户兴趣特征发生改变时，系统给出的推荐实时更新，即给出的推荐序列会随着改变，总之，一个成功的个性化推荐系统的作用主要表现在以下三个方面：(1)将浏览者转变为购买者。如果用户在电子商务系统的在浏览过程中没有购买的欲望，个性化推荐系统及时向用户推荐他们感兴趣的商品，就能促成购买过程。(2)提高交叉销售能力。个性化推荐系统在用户购买过程中向用户提供其他有价值的商品推荐，用户能够从系统提供的推荐列表中购买自己确实需要但在购买过程中没有想到的商品，从而有效提高电子商务系统的交叉销售。(3)提高客户忠诚度。个性化推荐系统分析用户的购买习惯，根据用户需求向用户提供有价值的商品推荐。如果推荐系统的推荐质量和精度很高，用户就会对推荐系统产生依赖，从而与用户建立长期稳定的关系，有效保留客户，提高客户的忠诚度。作为推荐系统的核心，各种各样的推荐技术也被研究人员相继提出。目前，比较成熟的推荐技术有基于内容的推荐、基于协同过滤技术的推荐、基于用户统计信息的推荐、基于效用的推荐、基于知识的推荐、基于规则的推荐等。其中协同过滤技术是推荐系统中最广泛使用的技术，协同过滤的概念是由DavidGoldberg等人在1992开发邮件系统Tapestry第一次提出，主要用于邮寄过滤，Tapestry也成为第一个使用协同过滤推荐技术的系统。协同过滤技术提出以后，在不断地改进中成为当前应用最成功的推荐方法。随着互联网技术的发展，推荐技术也在向着更高效、更准确、更个性化发展。随着web2．0的不断发展，社会化标签得到了广泛的应用。标签系统已经成为Web2．0网站的基本功能之一，为用户的个性化服务发挥了重要的作用，许多研究者对此进行的探讨，并取得了一定的成果。利用标签信息进行个性化推荐主要有以下几方面的研究：(1)基于聚类分析的个性化推荐：聚类分析是用户模型建立的重要手段，有许多的研究者对此进行了探讨。对标签的聚类代表了不同语义主题标签间的分类，在这方面，Niwa等人借助内容过滤分析，首先计算资源与标签的紧密度，得到用户．标签的紧密度；计算各个标签之间的相关性并将相关标签进行聚类，得到用户与已聚类标签的紧密度。再根据各个已聚类标签计算得出要推荐的网页，结合先前的紧密度得到最终的网页推荐顺序。对用户的聚类代表了不同兴趣的用户组，相似用户或邻居用户的识别对于推荐而言无疑具有重要的意义。Ae．Ttie等人以用户．资源矩阵为切入点，通过计算目标用户和其他用户之间的相似性，得到目标用户的相似邻居，形成一个目标用户的候选标签集；再应用朴素贝叶斯法，结合标签．资源矩阵和用户．标签矩阵，计算出用户对特定标签的喜好程度；在综合各个标签的影响后，最终得到资源对用户的推荐度。Diederich等人在数字图书馆领域根据相似用户的兴趣也相似的规律，通过了解相似用户对资源的标注为目标用户进行推荐。在对资源聚类方面，Sasaki等人研究了基于标签对资源进行了内容聚类，通过假设检验计算了不同聚类间的相似性，最后给出了一个网页内容推荐系统。Yeung等人运用贪婪算法，首先对单个用户所标注的资源进行内容聚类，再提取出已聚类资源的标签，将标注频率最高的标签引入用户模型进行推荐。(2)基于矩阵处理的个性化推荐：标签系统可以分解为三类矩阵关系，即用户．资源矩阵、资源．标签矩阵和用户．标签矩阵。Tso．Sutter等人通过矩阵扩展的方法，综合用户．资源矩阵与用户．标签矩阵，提出基于标签的协同过滤推荐算法，并综合多方的关系进行了分析。1.3本文研究方向本文针对的是基于社会化标签系统的个性化推荐系统，研究的是标签系统在基于图结构的个性化推荐系统中的应用与实现。研究图结构中的各节点和节点间的关系的属性即其标签的使用。2推荐系统个性化推荐是根据用户的兴趣特点和购买行为，向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大，商品个数和种类快速增长，顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题，个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台，以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。推荐算法有：1、基于内容推荐2、协同过滤推荐3、基于关联规则推荐4、基于效用推荐5、基于知识推荐6、组合推荐这章主要介绍的是用基于随机游走的PersonalRank算法来实现图的推荐。2.1推荐系统定义推荐系统是利用电子商务网站向客户提供商品信息和建议，帮助用户决定应该购买什么产品，模拟销售人员帮助客户完成购买过程”。图1推荐系统模型推荐系统有3个重要的模块：用户建模模块、推荐对象建模模块、推荐算法模块。通用的推荐系统模型流程如图。推荐系统把用户模型中兴趣需求信息和推荐对象模型中的特征信息匹配，同时使用相应的推荐算法进行计算筛选，找到用户可能感兴趣的推荐对象，然后推荐给用户。2.2用PersonalRank算法实现图的推荐在推荐系统中，用户行为数据可以表示成图的形式，具体来说是二部图。用户的行为数据集由一个个（u,i）二元组组成，表示为用户u对物品i产生过行为。本文中我们认为用户对他产生过行为的物品的兴趣度是一样的，也就是我们只考虑“感兴趣”OR“不感兴趣”。假设有下图2所示的行为数据集。图2其中users集U={A,B,C}，items集I={a,b,c,d}。则用户物品的二部图如下图3所示：图3我们用G(V,E)来表示这个图，则顶点集V=U∪I，图中的边则是由数据集中的二元组确定。二元组（u,i）表示u对i有过行为，则在图中表现为有边相连，即e(u,i)。那有了二部图之后我们要对u进行推荐物品，就转化为计算用户顶点u和与所有物品顶点之间的相关性，然后取与用户没有直接边相连的物品，按照相关性的高低生成推荐列表。说白了，这是一个图上的排名问题，我们最容易想到的就是Googl