知识图谱：大数据语义链接的基石

1李涓子清华大学2014年10月17日知识图谱：大数据语义链接的基石2一段真实的经历背景：9月中旬，法国航空公司发生飞行员为期10天以上的大规模罢工，多次航班因此取消法航罢工新闻旅客行程安排3语义链接与信息主动推送事件法航罢工9月15日未知行程旅客AF1079月28日航班号时间结束时间开始时间主体名称日历事件知识图谱行程知识图谱所属航空公司航空公司航班动态航班号拥有取消状态航班知识图谱影响影响决策4主要内容一、知识图谱基础二、知识图谱类型三、知识图谱构建方法及关键技术四、基于知识图谱的语义链接及其应用5知识图谱基础GoogleKG250概念4M实例6000属性500M三元组在线更新350K概念10M实例100属性120M三元组15K概念40M实例4000属性1B三元组GoogleKB核心850K概念8M实例70K属性15K概念600M实例20B三元组50M义项50+种语言262M三元组WordNet7种欧洲语言跨语言链接OpenIE(Reverb,OLLIE)NELL6知识图谱基础知识图谱Google知识图谱知识图谱，也称为科学知识图谱，它通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合，并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。为学科研究提供切实的、有价值的参考。---百度百科实体及其之间的关系图。规模：5亿个对象，35亿个事实和关系---维基百科知识图谱的本质：知识库？语义网络？知识图谱的形式：RDF？Graph？7TimBerners-Lee’sProposal1989链接数据链接信息系统88万维网信息描述语言塔=2&ID=8643020002002200420072006swuiCandle链接数据Wearehere9从文档万维网到数据万维网文档万维网数据万维网1010•特征：–Web上的事物拥有唯一的URI–事物之间由链接关联（如人物、地点、事件、建筑物）–事物之间链接显式存在并拥有类型–Web上数据的结构显式存在“事物”语义链接数据万维网•全球开发的知识共享平台11TheWeb1.0ConnectsinformationWebofdocumentsTheSocialWeb(Web2.0)ConnectsPeopleWebofPeopleTheSemanticWebWeb3.0ConnectsKnowledgeWebofDataTheUbiquitousWebConnectsIntelligenceWebofAgentsIncreasingConnectivityIncreasingKnowledgeandreasoningAgentWebsthatknow,learnandreasonashumando万维网的发展12BringstructuretothemeaningfulcontentofWebpagesAnnotatedWebagesAnnotatedWebpagesOntologyAnnotatedWebpagesAgentsAgentsTheSemanticWeb.TimBerners-Lee,JamesHendler,andOraLassila.ScientificAmerican,2001.13哲学中的本体概念三角形“Tank“ReferentFormStandsforRelatestoactivatesConcept[Ogden,Richards,1923]?Ontologyisthephilosophicalstudyofthenatureofbeing,becoming,existence,orreality,aswellasthebasiccategoriesofbeingandtheirrelations.---Wikipedia14计算机领域本体定义Anontologyisaformal,explicitspecificationofasharedconceptualization–Gruber1993Conceptualization:anabstractmodelofphenomenaintheworldbyhavingidentifiedtherelevantconceptsofthosephenomena.Explicit:thetypeofconceptsused,andtheconstraintsontheiruseareexplicitlydefined.Formal:thefactthattheontologyshouldbemachinereadable.Shared:ontologyshouldcaptureconsensualknowledgeacceptedbythecommunities15本体形式化五元组表示𝑂={𝐶,𝑅,𝐹,𝐴,𝐼}C-concepts•概念集合，通常以Taxonomy形式组织•球星，清华校友R-relations•描述概念或者实例之间语义关系的集合•subClassOf，birthplaceF-functions•一组特殊的关系，关系中第n个元素的值由其他n-1个元素的值确定•Price-of-a-used-car由thecar-model,manufacturingdata和kilometers确定16本体的形式化五元组表示𝑂={𝐶,𝑅,𝐹,𝐴,𝐼}A-axioms•公理•如果A是B的子女，B是C的子女，则A是C的子孙I-instances•描述具体的个体•如：Peter是概念学生的实例17本体的描述方法资源描述框架RDFResourceDescriptionFrameworkRDF数据模式资源Resource•使用URI唯一标示一个资源•一个资源通常表示一个事物(Thing)属性Property•一种特殊类型的资源，用以描述资源与资源见的关系语句Statement•由3种资源组成的三元组(Triple)•主语rdf:subject，谓语rdf:predicate以及宾语rdf:object18一个形式化示例本体的简化形式𝑂={𝐶,𝐼,𝑇,𝑃}C–concepts•描述领域或任务中的抽象概念，通常以Taxonomy形式组织•如描述世界知识的本体中，学生和老师是两个概念I-instances•描述具体的实例•学生Peter是概念学生的实例T-ISA•概念与概念之间、实例与概念之间的关系•subClassOf关系和instanceOf关系P–properties•本体中用于描述实例信息的其他语义关系•如：instance-attribute-value(AVP)Taxonomy知识AVP知识19What’sinfreebase?-LighttypesystemTopic:oneconceptoroneentitywithgloballyuniqueIDLiteral:string,numericvalue,Boolean,ortimestampType:propertiesaregroupedintotypes,anobjectthatisusedtosemanticallygrouptopicsProperty:attributeofatopicSchema:Eachtypehascollectionofzeroormoreproperties,knownastheschemaofthattypeDomain:acollectionoftypeswhichsharenamespace20本节总结知识图谱实现对客观世界从字符串描述到结构化语义描述，是对客观世界的知识映射（mappingworldknowledge）本体可以作为知识图谱表示的概念模型和逻辑基础知识图谱可以描述不同层次和粒度的概念抽象知识图谱可以作为互联网资源组织的基础虽然语义Web的愿景还尚未发生，知识图谱的发展是让互联网更好的具有世界知识的良好开端21知识图谱类型一、领域无关知识图谱•DBPedia,Yago,Freebase,GoogleKG,etc.二、特定领域知识图谱•FOAF,Geonames,LinkedMovieDatabase,etc.三、跨语言知识图谱•DBPedia,Yago,Freebase,XLORE,etc.22领域无关知识图谱类别名称其他人工构建ResearchCyc基于维基百科DBPediadbpedia.orgYAGOyago-knowledge.orgFreebasefreebase.comWikiTaxonomy开放知识抽取KnowItAllopenie.cs.washington.eduNELLrtw.ml.cmu.eduProbase中文知识图谱百度知心事件知识图谱灾难自然灾害地震：2014年鲁甸地震事件0属性主题infobox25事件知识图谱事件学习：从多个相似事件实例中学习层次主题模式主题实体类型关键词26计算知识图谱计算知识引擎WolframAlpha特定领域知识图谱生命科学文献社交网络地理政府语言媒体UGC综合28影视领域本体后会无期TheContinent基本资料导演韩寒监制方励编剧韩寒主演冯绍峰、陈柏霖、钟汉良、陈乔恩、王珞丹、袁泉[1]配乐作曲小林武史摄影廖拟剪辑肖洋片长106分钟制片商北京劳雷影业有限公司杭州果麦文化传媒有限公司博纳影业集团产地中国大陆语言现代标准汉语上映及发行上映日期中国大陆2014年07月24日台湾2014年9月19日[1]香港：2014年10月16日发行商天津博纳文化传媒有限公司华夏电影发行责任公司中文名后会无期外文名TheContinent导演韩寒制片人方励编剧韩寒主演冯绍峰、陈柏霖、钟汉良、陈乔恩、王珞丹、袁泉出品时间2014年制片地区中国出品公司劳雷影业、果麦文化、博纳影业片长106分钟对白语言普通话上映时间2014年07月24日发行公司天津博纳文化华夏电影发行类型喜剧，爱情，冒险色彩彩色制片成本5000万人民币拍摄地点上海，四川西昌，内蒙古赤峰，浙江舟山普陀，东极岛拍摄日期2014年2月14日属性数据补充链接补充多源影视知识29影视领域知识图谱方励朴树韩寒钟汉良冯绍峰邓紫棋中国合伙人致青春那些年，小时代3大话西游白发魔女传isAFilmorTV?FilmFilm食人女isA关系验证:相关实体:双语文字对齐:movie:directed_by“HanHan”@en,“韩寒”@zh.movie:genres“Comedy”@en,“喜剧”@zh.movie:summary“TheContinentisdirectedandwrittenbyHanHan…”@en,“《后会无期》是一部由韩寒担任编剧及导演…“@zh.影视知识融合30跨语言知识图谱演员/ActorGoogleKGhttp