利用文献计量学统计方法进行科研评价

1利用文献计量学统计方法进行科研评价NielsWeertmanScopus产品总监杭州，中国2007年4月4日1发言提纲ƒ研究成果评价概述ƒScopus和研究成果评价22为什么我们关注这个话题？ƒ对研究质量和研究价值的评价是学术交流体系的核心所在，比如：ƒ实施同行评审，决定是否收录某篇文章或出版某本图书ƒ评价期刊的质量ƒ评价研究人员的研究成果ƒ评价研究机构的研究产出效益（基于对机构成员的研究成果的评价）3研究成果评价ƒ对科学产出效益开展评价的目的在于为制定政策/决策、获取经费、梳理研究趋势以及衡量ROI(投资回报率，ReturnonInvestment)和聘用情况等方面提供帮助和参考。ƒ评价工具：文献计量学ƒ对书目信息（包括题名、关键词、引文和作者等）开展定量分析的系列方法。34ƒ主题覆盖范围ƒ机构名称ƒ作者ƒ合作者ƒ参考文献ƒ学科分类ƒISSN(国际标准刊号，包括纸本期刊和电子版期刊)ƒ文章长度(页数)ƒ出版年ƒ语种ƒ关键词ƒ文章类型ƒ其他…传统的起点…ƒ计算引文数量ƒ计算文章数量综合各字段数据5院系ƒ同意拨款ƒ制定决策ƒ对比分析ƒ推广资源ƒ馆藏建设ƒ分配经费ƒ开展研究谁希望获取这些信息，为什么？国际层面国家层面机构层面（比如大学）研究人员SPLITINNEEDSSPLITINNEEDS46研究成果评价ƒ对于文献计量学的研究年平均增长率超过5％ƒ英国的RAE项目（研究成果评估项目，ResearchAssessmentExercise）ƒ新西兰的PBRF项目（基于效益的研究投资评价项目，Performance-BasedResearchFund）ƒ澳大利亚的RQF项目（研究质量评价框架，ResearchQualityFramework）ƒ大型经费资助机构，比如NIH（美国卫生研究院）正在打算开展对研究产出效益的评价工作，以分析其投入回报率7实际应用：对作者的评价58实际应用：对院系的评价010203040501234RAESTARSH-factor资深教授初级员工提升!职业期望值大学RAE评价项目设置的标准H-factorseeNature436,889-890(2005)RAEStars-指数，请参见《自然》2005年436期889-890页RAEStars-实际应用：对研究机构的评价610对不同研究机构的比较分析11对研究项目的比较分析对大学内部的研究项目进行比较分析712引文分析是一种好的分析工具吗？ƒ引文分析集中对文章和引用情况的分析，而没有直接涉及对研究质量的分析ƒ数据源的全面性和代表性如何？ƒ什么可以帮助提高评价的有效性…ƒ质量低下的研究项目不会长期开展下去ƒ低质量的文章不会被多次引用，除非被…13引文分析是好的分析工具吗？814我们面临的一些挑战ƒ如何消除作者歧异和确定唯一作者比如，对于同名的作者或者拼写类似的作者ƒ规范机构的名称录入和检索比如，对于改名前后的机构名称的规范ƒ学科分配ƒ将作者与所在机构进行匹配ƒ区分众多作者ƒ数据源15澳大利亚的例子：出版物类型**数据来源LindaButler,澳大利亚国立大学916如何看待下载量？0%1%2%3%4%5%6%7%8%9%10%5yearcitations2006usageChemEngineeringHighEnergyPhysicsMaterialsScience&EngineeringHealthSciencesEarthSciencesBiologicalSciencesFundLifeSciencesIFundLifeSciencesIIMolBiol/PharmaNeuroscienceCellPressTheoreticalfields:largercitationsharethanusageshareAppliedfields:largerusagesharethancitationshare17文献计量学的意义何在？ƒ容易获取数据并易于理解ƒ具有普遍意义并具有客观性ƒ数据是在在学术期刊中出版的ƒ确定对比分析的标准ƒ数据具有一致性和相容性1018文献计量学分析方法的类型ƒ现在的分析方法主要是对短期引文价值进行分析的（只应用于对期刊的评价）-影响因子*=2年-立即影响指数=1年-被引半衰期=一般只统计10年的数据ƒ其他评价标准（应用于对期刊、作者、机构以及学科等各方面的评价）-MatthewValue-Hirsch指数（通常被简称为H指数）-…-…JournalsonlyJournalsAuthorsResgroupsSubjects*©汤姆森ISI,期刊引证报告19影响因子1120影响因子*定义:ƒ前两年发表在期刊的文章在该年被引用的数量ƒ除以前两年在期刊上发表文章的数量*©汤姆森ISI,期刊引证报告212004年Scientometrics期刊的影响因子在该期刊前两年（2002年和2003年）发表的文章在2004年被引的数量ƒ2002=1242002年发表的论文在2004年被引的数量为124次ƒ2003=632003年发表的论文在2004年被引的数量为63次ƒTotal=1872002和2003年发表的论文在2004年被引的总数为187次该期刊前两年发表论文的数量ƒ2002=842002年该刊发表的文章数量为94篇ƒ2003=832003年该刊发表的文章数量为83篇ƒTotal=1672002和2003两年年该刊发表的文章数量共为167篇计算2002和2003年发表的论文在2004年被引的总数187---------------------------------------------------------=--------=1.4562002和2003两年年该刊发表的文章数量167*©汤姆森ISI,期刊引证报告,20041222影响因子的评价ƒ对期刊质量的评价“…影响因子也被用于评价单篇论文、科学家和研究机构的研究质量。但对于后者来说，这种评价缺乏科学依据，正如我们将会在这篇投稿中向大家演示的那样。”(Opthof,1997)Opthof,T.(1997).影响因子的优点和缺点分析.心脏血管学研究33(1):1-7.(96)00215-52350％的文章就产生90％的引文Seglen,P.O.(1997).为什么期刊的影响因子不应该被用于评价研究成果.BMJ314(7079):497-502.立即影响指数和被引半衰期立即影响指数ƒ当年出版的文章被引数量除以当年出版的文章数量被引半衰期ƒ期刊的被引半衰期是以“被引期刊”（citedjournal）的数据为依据的。其含义是指目前被引的文章的价值衰减到只有原来的50％的时候，其所需的时间（以年为计量单位）。25图形描述CitationsCitedHalfLifeTimeafterpublication(Years)ImpactFactorwindow481216026101418ImmediacyIndexwindow50%ofcitations50%ofcitations1426TheMatthewValue期刊=TrendsinNeuroscienceƒ分子ƒ被引的数量(2001-2005)46081ƒ文章的数量(2001-2005)640ÆAveragejournal72.00ƒ分母ƒ被引的数量(2001-2005)498950ƒ文章的数量(2001-2005)6230ƒÆAverageNeurosciences8.00ƒ马太值72.00/8.00927H指数ƒ美国加利福尼亚大学物理学教授JEHirsch于2005年8月提出如果说一位科学家总共发表了11篇文章，其中有5篇文章的被引次数最少达到了5次，而其他6篇（11－5）文章的被引次数都不到5次，那么这位科学家的H指数就为5。Rank1234567891011Citations181615117433100例子:JohnQX教授1528H指数的特点•易于确定•将科学家的年龄因素考虑进去•几乎不能对从事学科内领域研究的研究人员进行比较•忽略了被引次数多和被引次数少的文章•适用于其他方面的衡量和评价(比如期刊)29发言提纲ƒ研究成果评价概述ƒScopus与研究成果评价1630Scopus内容概览ƒ世界上最大的学术信息文摘数据库:ƒ15000多份同行评审刊，文摘数据回溯至20世纪60年代中期ƒ750多份会议录ƒ600多份商业出版物ƒ150种系列图书（丛书）ƒ两亿多个科技网页ƒ2000万多份专利信息北美地区：占36％南美地区：占3％亚太地区：占9％欧洲、中东、非洲：占52％31Scopus内容概览ƒ先进的查新工具ƒ2.3亿篇参考文献，其数据回溯至1996年ƒ参考文献包括对参考文献的引用以及对权威网站信息源的引用REF:Keller-WoodM.K.,StenstromB.,ShinsakoJ.etal.,InteractionbetweenCRFandAngIIincontrolACTHandadrenalsteroids.Am.J.Physiol.,v.250,pp.306-402,1986.ITEM:Keller-Wood,M.,KimuraB.,ShinsakoJ.etal.,InteractionbetweenCRFandangiotensinIIincontrolofACTHandadrenalsteroids.“AmericanJournalofPhysiology-RegulatoryIntegrativeandComparativePhysiology,v.250,pp.19/3,1986.1732功能:即时性能ƒ对研究个体的评价ƒ轻松地找到某一作者发表的文章，这些文章的被引情况，并计算该作者的H指数。ƒ对研究机构研究产出效益的评价ƒ收集该机构成员发表的所有文章，并对之进行评价ƒ跟踪某一研究领域的发展趋势ƒ收集自己感兴趣的所有文章（比如关于SARS的文章），并通过引文追踪（CitationTracker）发现并确定该领域的研究趋势ƒ对非正式出版文献的影响力进行分析ƒWebCitesandPatentCites33183435193637柯院士发表的论文数量为48篇，其中12篇论文其被引用次数至少为12次，而剩余其他的论文（36篇）其被引次数均没有超过12篇，所以柯院士的H指数为122038EvaluationDataInstantcitationoverviewforanauthor39Anotherdimensiontoevaluate:Excludingselfcitations2140H指数图示ƒ为每篇文章的被引情况绘制图表ƒ交汇点即为H指数ƒ通过次数，展示被引次数多的文章和被引次数小的文章ƒ完全透明ƒ可以改变查询年限该功能即将提供41作者发表论文史ƒ展示作者的科研活动ƒ展示作者的研究高潮期和低潮期ƒ可以改变查询年限该功能即将提供2242作者论文被引情况ƒ展示作者的研究水平ƒ展示作者的被引次数多和被引次少的文章情况ƒ可以改变查询年限该功能即将提供43功能:即时性能ƒ对研究个体的评价ƒ轻松地找到某一作者发表的文章，这些文章的被引情况，并计算该作者的H指数。ƒ对研究机构研究成果的评价ƒ收集该机构成员发表的所有文章，并对之进行评价ƒ跟踪某一研究领域的发展趋势ƒ收集自己感兴趣的所有文章（比如关于SARS的文章），并通过引文跟踪器（CitationTracker）发现并确定该领域的研究趋势ƒ对非正式出版文献的影响力进行分析ƒWebCitesandPatentCites234445将来发展ƒ进一步完善Scopus作为研究成果评价工具的功能ƒ以合作的形式发展对研究成果进行比较的标准和工具，比如，要加强与机构