大规模知识图谱表示学习的趋势与挑战

大规模知识图谱的表示学习趋势与挑战清华大学自然语言处理实验室刘知远[e-mail]第三届全国中文知识图谱研讨会1机器学习=数据表示+学习目标+优化方法YoshuaBengio.Deep Learning of Representations.AAAI2013Tutorial.2表示学习的意义词法分析句法分析语义分析词汇短语句子知识挑战：缺乏对各语言单位统一的语义表示与分析手段3表示学习的意义•缓解数据稀疏，建立统一空间，实现知识迁移4表示学习建立统一的语义表示空间词法分析句法分析语义分析词汇短语句子知识低维、稠密的向量空间分布式表示（distributedrepresentation）/ 嵌入（embeddings）知识图谱中的实体与关系•知识图谱包括实体与关系–节点代表实体–连边代表关系•事实可以用三元组表示–（head,relation,tail）•代表知识库–WordNet:语言知识–Freebase:世界知识5大规模知识图谱的表示学习问题•大规模知识图谱特点–高维、稀疏、噪音、不完整•大规模知识图谱传统表示方法–稀疏矩阵三元组，RDF，符号化表示每个实体/关系–无法有效度量和利用实体间语义关联•研究思路：将知识图谱嵌入到低维向量空间–实体和关系都表示为低维向量–有效表示和度量实体、关系间的语义关联•应用场景：知识获取，知识推理，知识融合6知识表示代表模型：TransE•对每个事实(head,relation,tail)，将relation看做从head到tail的翻译操作•优化目标：h+r = t7知识表示代表模型：TransE•对每个事实(head,relation,tail)，将relation看做从head到tail的翻译操作•优化目标：h+r = t8其他代表模型Neural Tensor Network (NTN)Energy Model9评测任务：链接预测WALL-E电影风格?10评测任务：链接预测1.Animation2.Computeranimation3.Comedyfilm4.Adventurefilm5.ScienceFiction6.Fantasy7.Stopmotion8.Satire9.Drama10.ConnectingWALL-E电影风格11链接预测性能比较12评测数据集合TransE给我们的启示•创新性地设计学习目标•模型复杂度与知识图谱稀疏性存在辩证关系14知识表示研究趋势：一对多关系处理15•TransE的假设无法较好处理一对多、多对一、多对多关系美国奥巴马总统克林顿+≈知识表示研究趋势：一对多关系处理•在TransE基础上考虑关系对实体的影响16TransHTransRWang,etal.(2014).Knowledgegraphembeddingbytranslatingonhyperplanes.AAAI.Lin,etal.(2015).Learningentityandrelationembeddingsforknowledgegraphcompletion.AAAI.实验结果：链接预测17复杂关系建模的挑战•研究热点–TransA，TransD，TransE，TransG，TransH，TransR•挑战问题–TransE简单目标无法应对复杂关系（1-N、N-1、N-N）–建议方案：将关系划分为不同类型，分而治之•FB关系è属性（性别、国籍）、关系18知识表示研究趋势：文本+KG融合•基于文本序列的关系抽取•基于知识图谱的链接预测19文本+KG融合对关系抽取的帮助•数据NYT+FB(Weston et al.2013)20TransE+Word2Vec•KG=TransE, Text=Word2Vec•强制要求同时在KG和文本中出现的实体共享相似的向量21Wang, etal. (2014). Knowledge graph and text jointly embedding. InEMNLP.TransE+Word2Vec的效果•数据NYT+FB22文本+KG融合的挑战问题•结合文本关系抽取的最新方法：CNN等•建立对词汇、实体和关系的统一表示空间23Zeng,etal.(2014).Relationclassificationviaconvolutionaldeepneuralnetwork.COLING.Santos,etal.(2015).ClassifyingRelationsbyRankingwithConvolutionalNeuralNetworks.InACL.知识表示研究趋势：关系路径表示•KG的实体关系之间存在复杂的推理关系24对关系路径建模的传统方法•Path Ranking Algorithm25Lao, etal. (2011). Random walk inference and learning in a large scale knowledge base. EMNLP.关系路径的表示学习•Recursive Neural Network(RNN)26Neelakantan, etal. (2015). Compositional Vector Space Models for Knowledge Base Completion.ACL.考虑关系路径的TransE:PTransELin, etal. (2015). Modeling Relation Paths for Representation Learning of Knowledge Bases.EMNLP.27考虑关系路径的TransE:PTransE•关系路径的表示：组合语义•ADD，MULTIPLY，RNNGardner, etal. (2013). Improving learning and inference in a large knowledge-base using latent syntactic cues. EMNLP.28评测结果：实体预测+35%29Lin, etal. (2015). Modeling Relation Paths for Representation Learning of Knowledge Bases.EMNLP.评测结果：关系预测+10%30关系路径表示的挑战问题•如何寻找关系间的复杂推理关系–更多类型推理关系–推理关系可信性•如何更好地表示关系之间的复杂推理关系–组合语义模型：RNN、NTN、…•应用：QA(Guu,etal.2015)31(奥巴⻢，总统，美国)(奥巴⻢，是，美国⼈)Guu,etal.Traversing Knowledge Graphs in Vector Space.EMNLP2015.开放源码•TransE、TransH、TransR、PTransE–•将持续发布更多知识表示学习模型32知识表示学习的其他重要挑战•大规模知识图谱表示的快速学习–长尾数据上的在线学习、分布式学习•融合知识图谱丰富信息的知识表示学习–利用实体和关系的属性、描述、层次类型等信息–建立统一的知识表示空间•考虑常识信息的知识表示学习与信息抽取–先验知识（如人的结婚年龄、毕业年龄等）•知识表示在信息融合、知识推理中的应用–跨语言、跨知识库的知识融合–在低维向量空间中的知识推理33广阔天地，大有可为34谢谢大家，敬请指正35~[e-mail]