基于协同过滤的电影推荐

基于协同过滤的电影推荐摘要在海量网络资源中，用户为了寻找喜欢的视频往往需要进行频繁操作，个性化推荐服务可以有效解决该问题，但当前推荐服务准确度较低，为此，提出一种基于协作过滤的改进推荐方法。根据相似用户群，即邻居集的点播记录确定当前用户的推荐电影子集，挖掘当前用户的喜好，建立兴趣模型，并与推荐子集中的电影进行匹配，按匹配度高低进行推荐。对推荐电影子集进行分类，以适应家庭中多用户观看的情况。另外在系统运行初期采用相似影片的推荐以一定程度地缓解冷启动问题。实验结果表明，与现有协作过滤算法相比，改进推荐方法的推荐准确度有明显提高。关键词协同过滤相似度矩阵预测推荐MovieRecommendationCollaborativeFilteringAbstractUserslookingforafavoritevideoinvastamountsofnetworkresourcesoftenneedfrequentoperating,andpersonalizedrecommendationservicecanbeaneffectivesolutiontothisproblem.Againstthecurrentlowerrecommendationaccuracy,thispaperpresentsanimprovedrecommendationmethodbasedoncollaborativefiltering.Itdeterminesamoviessubsetthatisrecommendedaccordingtothepastrecordsofsimilarusersnamelyneighborsset.Thenitminesthepreferencesofcurrentuser,establishestheinterestmodelofcurrentuser,andmatcheswiththemoviestorecommend.Recommendationisinaccordancewiththelevelofmatchingdegree.Afterwards,itclassifiesthefilmsetsthatarerecommendedtoadapttomulti-userviewinginfamilies.Additionally,itrecommendssimilarfilmsinthesystemearlyrunningtosolvethecold-startprobleminacertaindegree.Experimentalresultsshowthattheimprovedrecommendedmethodhasdistincthigherrecommendationaccuracythantheexistingcollaborativefilteringalgorithm.KeywordsCollaborativeFilteringsimilarmatrixpredictionRecommendation1引言随着互联网技术的发展，人们走进了信息时代。互联网上的丰富资源使人们的生活更加丰富多彩。其中影响最大的形式之一是网络电视。网络电视(NetworkTelevision,NTV)是以宽带网络为载体、以视音频多媒体为形式、以互动个性化为特性，为所有宽带终端用户提供全方位有偿服务的业务。网络电视可以使用机顶盒和电视机作为用户终端，用户通过机顶盒遥控器来选择网络电视节目。[1]网络上的视频资源是海量的，用户为了看到自己喜欢的电影可能要不断的搜索。如果能够主动地向用户推荐一些他们有可能喜欢的电影，那么就可以大大提高用户体验。电影推荐系统通常是主动式推荐。[2]通过对用户以往数据的分析，发现用户的洗好，进而预测用户有可能喜爱的电影。2相关工作2.1基于关联规则的推荐技术基于关联规则的推荐(AssociationRule-basedRecommendation)是以关联规则为基础，把已购商品作为规则头，规则体为推荐对象。关联规则挖掘技术是数据挖掘领域的中研究内容之一[26]，它可以发现不同商品在销售过程中的相关性，在零售业中已经得到了成功的应用。管理规则就是在一个交易数据库中统计购买了商品集X的交易中有多大比例的交易同时购买了商品集Y，其直观的意义就是用户在购买某些商品的时候有多大倾向去购买另外一些商品。比如购买牛奶的同时很多人会同时购买面包。基于关联规则的推荐算法分为离线的关联规则推荐模型建立阶段和在线的关联规则推荐模型应用阶段。离线阶段使用各种关联规则挖掘算法(例如Apriori、AIS、FP-growth算法等)计算用户交易数据库中各种商品在销售过程中之间的相关性，生成规则，这些关联关系表明，通常在某次交易中出现了某些产品，那么另外一个产品集中的某些产品也很可能会在这次交易中出现；在线阶段根据生成的关联规则和用户的购买行为向用户产生推荐。例如，Amazon网上书店、ILOG就是使用基于关联规则的推荐技术。2.2基于内容过滤的推荐技术最早出现的信息过滤系统都是以基于内容的过滤技术(Content-basedRecommendation)为主要技术实现的。基于内容的推荐来源于信息检索，其中采用了许多信息检索中的技术。系统对目标用户所购买的商品的特性的分析，从而得到对该用户的兴趣描述，并据此向该用户进行推荐。对商品的特征分析是其核心。基于内容的过滤应用范围非常广，PersonalWebWatcher，Letizia，Syskll&Webert，Libra，Citeseer等都是基于内容过滤的推荐系统。基于内容的推荐是信息过滤技术的延续与发展，它是建立在项目的内容信息上做出推荐的，而不需要依据用户对项目的评价意见，更多地需要用机器学习的方法从关于内容的特征描述的事例中得到用户的兴趣资料。在基于内容的推荐系统中，项目或对象是通过相关的特征的属性来定义，系统基于用户评价对象的特征，学习用户的兴趣，考察用户资料与待预测项目的相匹配程度。用户的资料模型取决于所用学习方法，常用的有决策树、神经网络和基于向量的表示方法等。基于内容的用户资料是需要有用户的历史数据，用户资料模型可能随着用户的偏好改变而发生变化。3方法协同过滤推荐是迄今为止最最成功的个性化推荐技术，已经被应用到很多领域中，表2-2列举了一些采用了协同过滤技术的网站。3.1数据预处理本文使用MovieLens1M的数据集3.2相似度计算Item-based算法首选计算物品之间的相似度。3.2.1基于余弦基于余弦（Cosine-based）的相似度计算，通过计算两个向量之间的夹角余弦值来计算物品之间的相似性，公式如下：||*||),(jijijisim其中分子为两个向量的内积，即两个向量相同位置的数字相乘。3.2.1基于关联基于关联（Correlation-based）的相似度计算，计算两个向量之间的Pearson-r关联度，公式如下：UujjuUuiiuUujjuiiuRRRRRRRRjisim2,2,,,)()())((),(iuR,uR3.3预测推荐根据之前算好的物品之间的相似度，接下来对用户未打分的物品进行预测，有两种预测方法。3.3.1加权求和用过对用户u已打分的物品的分数进行加权求和，权值为各个物品与物品i的相似度，然后对所有物品相似度的和求平均，计算得到用户u对物品i打分，公式如下：||)(,,,,niNuniiusRsp其中Si,N为物品i与物品N的相似度，Ru,N为用户u对物品N的打分。选择排名靠前的K条推荐给用户。3.3.2回归和上面加权求和的方法类似，但回归的方法不直接使用相似物品N的打分值Ru,N，因为用余弦法或Pearson关联法计算相似度时存在一个误区，即两个打分向量可能相距比较远（欧氏距离），但有可能有很高的相似度。因为不同用户的打分习惯不同，有的偏向打高分，有的偏向打低分。如果两个用户都喜欢一样的物品，因为打分习惯不同，他们的欧式距离可能比较远，但他们应该有较高的相似度。在这种情况下用户原始的相似物品的打分值进行计算会造成糟糕的预测结果。通过用线性回归的方式重新估算一个新的Ru,N值，运用上面同样的方法进行预测。重新计算Ru,N的方法如下：1RRN其中物品N是物品i的相似物品，α和β通过对物品N和i的打分向量进行线性回归计算得到，ε为回归模型的误差。4实验结果与分析基于项目的协同推荐算法的不足之处在于如下2个方面。一是数据挖掘能力的有限。由于基于项目的推荐算法具有较强的依赖性能，所以其对推荐的结果不是很准确或者说具有依赖性。虽然该算法在计算效率和算法的实时性方面有很强的优势，但是这个优势不能把这个缺点很好的掩盖，反而使得其推荐能力受到较大的影响。二是冷开始问题。从某种意义上可以看成是稀疏问题的特例。用户首次使用的时候，由于没有具体的资料可以参考，也就无法对其进行深入的评价，更谈不上推荐的依据和推荐的准确性。冷开始问题是目前的推荐算法要解决的一个重要的问题。同样，基于项目的协同过滤推荐算法在数据挖掘能力与冷开始问题2个方面的缺点致使研究可替代的推荐系统算法非常有必要。参考文献[1]周铁伦.基于协同过滤的网络电视推荐系统的研究与实现[D].广州:中山大学,2009.[2]陈天昊，帅建梅，朱明.一种基于协作过滤的电影推荐方法[J].计算机工程,2014,40(1):55-62.[3]王宏宇,糜仲春,梁晓艳等.一种基于支持向量机回归的推荐算法[J].中国科学院研究生院学报,2007,24（6）：742-748.[4]邵佳炜.基于关联矩阵和学习自动机的电影推荐研究[J].电脑知识与技术,2012,8(8):1721-1722[5]季昀.基于协同过滤推荐算法电影网站的构建[D].哈尔滨：哈尔滨工业大学，2009.[6]DanielLemire,AnnaMaclachlan.SlopeOnePredictorsforOnlineRating-BasedCollaborativeFiltering[C]//Proceedingsofthe2005SIAMInternationalConferenceonDataMining.California[出版者不详]，2005.[7]林鸿飞,杨志豪,赵品.基于内容和合作模式的信息推荐机制[J].中文信息学报,2005,19(1):48-55[8]张娜.电子商务环境下的个性化信息推荐服务及应用研究[D].合肥:合肥工业大学，2007.[9]KonstanA,MillerB,etal.GroupLens:ApplyingCollaborativeFilteringtoUSENETNews[J].CommunicationoftheACM,2011,40(3).77-87.[10]李悦.基于协同过滤个性化商品推荐的网络商城系统[D].大连.大连理工大学.2009.