高等学校引领人工智能创新行动计划方案汇报

记忆驱动的智能学习吴飞浙江大学计算机学院2018年4月22日视觉与学习青年学者研讨会VALSE2018大连提纲1、记忆是认知的基石2、若干工作3、总结记忆是人类认知的基石瞬时记忆(多通道感知)持续时间：5sec工作记忆(直觉、顿悟、因果等推理)持续时间：30sec长期记忆(先验、知识等)持续时间：1sec--lifelongAlanBaddeley,Workingmemory:lookingbackandlookingforward,NatureReviewsNeuroscience4,829–839,2003知之在人者谓之知知觉：人所固有认识外界客观事物本能，如视觉、听觉和触觉等能力知有所合谓之智智慧：知觉对外界事物的认知所以能之在人者为之能本能：人身上所具用来处置事物能力能有所合谓之能智能：对外界所产生的认知和决策《荀子.正名》记忆单元之间及其与环境的交互是提升智能能力的重要途径瞬时记忆(多通道感知)持续时间：5sec工作记忆(直觉、顿悟、因果等推理)持续时间：30sec长期记忆(先验、知识等)持续时间：1sec--lifelong环境：强化学习Human-levelcontrolthroughdeepreinforcementlearning,Nature,518:529–533,2015Yourabilitytoremembersomethingdoesn’tjustdependonthestrengthofthememory,itdependsonthestatethatyou’rein从分段学习到“端到端”学习：以自然语言翻译为例word2vecParagraph2vecNode2vecpath2vec语法语用语义编码解码ConditionalrandomfieldHiddenMarkovModel从分段学习到“端到端”学习：以视觉分类和理解为例TwostreammodelRegion-CNNMaskR-CNNDetectionClassificationUnderstanding输入端输出端：高层语义(what)端到端学习，利用卷积、池化和误差反向传播技术，强调特征学习黑盒子(多粒度语义在中间层丢失)从分段学习到“端到端”学习分段学习端到端学习从图灵机到神经图灵机：利用外在记忆体中的知识A.M.Turing,OnComputableNumberswithanApplicationtotheEntscheidungsproblem,ProceedingsoftheLondonMathematicalSociety,Ser.2,Vol.42,1937AlexGraves,etal.,Hybridcomputingusinganeuralnetworkwithdynamicexternalmemory,Nature538,471–476,2016弦外之音、画外之意：利用外在记忆体的深度神经推理JasonWeston(facebook),etal.,MemoryNetworks,arXiv:1410.3916Retrievalinducesadaptiveforgettingofcompetingmemoriesviacorticalpatternsuppression,NatureNeuroscience,18,pages582–589(2015)Aneuralalgorithmforafundamentalcomputingproblem,Science,358,Issue6364,793-796,2017记忆的激活：哈希索引的相似度搜索记忆的可塑性维持、用尽废退：强化学习中记忆的形成、巩固和遗忘利用外在记忆体中的知识进行可计算推理oneshotlearningAdamSantoro,etal.,Meta-LearningwithMemory-AugmentedNeuralNetworksChenjunXiao,etal.,Memory-AugmentedMonteCarloTreeSearchEmilioParisotto,etal.,NeuralMap:StructuredMemoryfordeepreinforcementlearningMonteCarloTreeSearchStructuredmemory外在记忆体中的知识的不同利用方式有效利用当前数据、已有知识和未知交互ShallowmodelsDeepmodels备注LanguagemodelNeurallanguagemodel不只是单纯追求将浅层模型拓展到深层模型。更为重要的是，在这个转变过程中，巧妙融合数据、知识和交互经验，多种手段和方法的综合利用。BayesianLearningBayesiandeeplearningTuringMachineNeuralTuringMachineReinforcementLearningDeepReinforcementLearningGenerativeModelDeepGenerativeModelXDeeporNeural+X记忆激活机制交互更新手段逻辑、描述、事实型知识的表示方法，从离散符号到分布式向量表达，为深度神经推理打下基础编码（形成新的记忆）以及记忆检索（回想过去）的机制，即实现模式分离和模式完成。通过人-机交互、机-机交互等形式，或者利用认知模型、或者借助自我博弈，进行知识更新知识表达模型交互记忆数据对推理过程逐渐松绑，使推理逐步走向对思维广泛模拟：跨媒体综合推理有效利用当前数据、已有知识和未知交互的挑战知识涌现经验探索推理学习跨媒体综合推理数据驱动中归纳知识指导下演绎行为强化内规划跨媒体综合推理有机协调“知识指导下的演绎”、“数据驱动中的归纳”和“行为强化内的规划”等理论模型和方法手段，建立知识、数据和反馈于一体的人工智能理论和模型多个源头、多种数据、三向交互的综合推理机制跨媒体综合推理提纲1、记忆是认知的基石2、若干工作3、总结人工智能的基础科学问题人工智能基础理论及应用(第194期双清论坛，2017.12.2-3,长沙)1.场景理解过程中的跨层次关联2.视觉知识表示和推理3.场景理解中的触类旁通能力的学习4.视觉与语言的交互机制5.脑机理认知6.类脑可计算模型7.计算架构与能力8.多源碎片化知识的表示9.多源碎片化知识推理与发现10.多源碎片化知识的适配11.人工智能的自动推理12.非合作博弈数学模型13.从记忆中提取答案14.无时不刻的预测15.基于常识的推理16.语言和知识17.对新问题如何提出解决方案18.开放动态环境中机器学习面临新的挑战：分布偏移、类别可增、属性变动、目标多样、环境变迁19.神经形态器件20.神经处理器21.神经计算机基础软件22.神经网络的记忆机制194期双清论坛归纳整理后的科学问题脑与认知•脑观测与脑认知•神经网络的记忆机制•类脑可计算•脑观测机器学习•知识表示与推理•动态环境下机器学习•记忆的学习方法•视觉、语言与学习工具与平台•神经形态器件•神经处理器•神经计算机基础软件2018人工智能2.0：理论与应用人工智能基本理论问题，如可解释性深度学习和无监督学习类脑学习，如脉冲神经网络和记忆增强推理人在回路智能学习创意智能应用，如社交聊天机器人（即小冰）和自动语音识别卡耐基梅隆大学RajReddy博士分享了他对新一代人工智能的看法，加州大学伯克利分校郁彬教授主张在人机协作中使用统计概念以提升智能，中国科学院程健研究员等综述了深度神经网络加速方法。时序增强的知识记忆网络在问答中的应用能用众力，则无敌于天下矣；能用众智，则无畏于圣人矣(语出《三国志·吴志·孙权传》)时序增强的知识记忆网络在问答中的应用用户在凝练答案过程中不仅会理解问题本身，同时也会理解先前已有答案，之后在此基础上对自己所给出回答进行修正和补充，进而给出质量更高的答案。时序增强的知识记忆网络在问答中的应用进一步引入知识记忆网络(knowledgememorynetwork)，利用外部知识来加强问答学习性能你说我画：从认知到创意提纲1、记忆是认知的基石2、若干工作3、总结英国指挥家CliveWearing：因herpessimplexvirus（单纯疱疹病毒）侵蚀大脑hippocampus（海马体）而患上anterogradeamnesia（顺行性遗忘症）海马体是将短期记忆传递成长期记忆的重要器官他的记忆，和金鱼一样，只要“七秒”就会消失。他的生命是一段又一段的空白，没有过去，没有未来。仅有短期记忆的人生数据驱动的机器学习方法先验与知识引导从浅层计算到深度神经推理从单纯依赖于数据驱动的模型到数据驱动与知识引导相互结合从领域任务驱动智能到更为通用条件下的强人工智能（从经验中学习）YuetingZhuang,FeiWu,ChunChen,YunhePan,ChallengesandOpportunities:FromBigDatatoKnowledgeinAI2.0,FrontiersofInformationTechnology&ElectronicEngineering,2017,18(1):3-14实现可解释、更鲁棒和更通用的人工智能数据利用、知识引导与能力学习谢谢大家