百度深度学习进展介绍（PPT61页)

百度深度学习进展介绍余凯百度深度学习研究院（IDL）百度十年愿景•AnnualincomeexceedingCNY160billion•InfluentialChinesecompanyinglobaleconomy• Prestigiousbrandin50%countriesworldwide•Oneoftheworld’slargestnewmediaplatform我们相信技术的力量百度希望学术界解决的9个难题2012年8月13日，百度CEO李彦宏在国际数据挖掘会议ACMKDD上发表演讲，提出9个希望学术界帮助解决的技术难题，其中前三项是：1. 自然图片OCR2. 语音识别和理解3. 图像搜索业界现状和趋势：读图时代业界现状和趋势：读图时代业界现状和趋势：读图时代业界现状和趋势：语音交互业界现状和趋势：语音交互GartnerEmergingTechHypeCycle2012DeepLearningSince20069/16/13102013年十大突破性技术之首MITTechnologyReview杂志，2013年4月23日席卷学术届到工业届的浪潮2012.6“谷歌大脑”项目2012.11微软智能同声传译9/16/1313图像识别领域的突破72%,201074%,201185%,2012ImageNetChallenge9/16/13WorderroroSlideCourtesy:GeoffHinton14错误率降低20%-30%百度投入基础技术研发nn 2013年初年会上，Robin宣布要成立研究院：我们会吸引这个领域里全球最顶尖的高手陆续加盟，为我们新一年的产品和业务发展提供最坚实的基础！我希望百度IDL会成为像AT&T-Belllabs，XeroxPARC这样的顶尖的研究机构，为中国，为全世界的创新历史再添一笔浓墨重彩！机器学习技术的两次浪潮2010第二次浪潮深度学习1990第一次浪潮浅层学习深度学习机制更接近人脑DeepArchitectureintheBrainAreaV4AreaV2AreaV1RetinaHigherlevelvisualabstractionsPrimitiveshapedetectorsEdgedetectorspixels深度学习和人类学习的共同点pixels18objectparts(combinationofedges)edgesobjectmodelsDeepArchitectureintheBrainAreaV2AreaV1RetinaAreaV4PrimitiveshapedetectorsEdgedetectorspixelsHigherlevelvisualabstractions人工智能新范式：大数据+深度学习语音图像文字百度在深度学习方面的进展• 2012年夏天投入研发• 用GPU提升计算效率，处理海量训练数据• 语音识，OCR识，人脸识，图像搜索等巨大提升• 到目前，超过8项技术在产品上线百度在深度学习方面的进展• • • • • 语音：错误率相对降低20-30％OCR：错误率相对降低30％人脸识别：LFW测试达到世界最好结果全网相似图像搜索：效果显著超谷歌同类产品全流量上线广告CTR预估,显著提升广告点击率Pooling百度用于图像识别的深度模型9/16/1322CodingCodingPoolingPoolingCodingPoolingCodingFullyconnected语音搜索输入法地图搜索语音助手百度语音技术产品线百度移动搜索-语音搜索nn 中国第一个完全自主开发的中文语音搜索产品nn 世界最好的中文语音搜索识别率nn 2012年底，语音搜索流量占移动搜索达10%,theproportionofvoicequerieshasgrownfrom1%to10%in2012.地图语音搜索 中国互联网企业唯一自主开发的语音输入法产品nn 识别率大大超过苹果Sirinn 获得用户广泛好评://shouji.baidu.com/input/百度最高奖2013政治类文字色情类广告类 反作弊 点滴搜索 拍照文字识 百度翻译App自然图片OCR技术文字识|条码二维码|视觉搜索|人脸识 贴吧政治人物头像反作弊，准确99%，召回96%； 全网人脸搜索引擎“百度识图”，索引数亿人脸，瞬间返回结果。百度相册：人脸搜索 云相册人脸检索，准确90%，召回50%；百度魔图单日最高上载9000万张图片，在IOSAPP排行榜总榜排名第一达3周之久百度魔图百度魔图百度魔图百度魔图基于深度神经网络的视觉搜索技术何为相似？百度技术Google搜索结果百度识图检索图片百度技术Google搜索结果百度识图检索图片百度技术Google搜索结果百度识图检索图片百度技术Google搜索结果百度识图检索图片百度技术Google搜索结果百度识图检索图片拍照写诗–百度iOSAPP拍照写诗–百度iOSAPP拍照写诗–百度iOSAPP拍照写诗–百度iOSAPP拍照写诗–百度iOSAPP拍照写诗–百度iOSAPP拍照写诗–百度iOSAPP少女杀手证深度学习带来的大数据思考重要的方面…大数据+计算能力+统计模型+应用创新AccuracyLarge-ScaleLearningMatters!• Howtogetgoodpredictionwhendoingmachinelearning?Trainingsetsize(millions)Banko&Biill,200155百度的典型训练样本规模• 图像识别:数千万训练样本• • • • 9/16/13OCR:数千万训练样本语音识别：数百亿训练样本广告:千亿训练样本…我们预计训练数据每年增长10倍…56ArtificialIntelligence• DeeplearningmightbeourcurrentbestshottowardsAI• AIisourulFmategoal• What’sinsideAI?Knowledge有知识Learning会学习ProblemSolving解决问题CreaFvity创新57SlidesbyWeiXuTheSingularity• HappenswhenanAIiscreatedsuchthatitsengineeringcapabilitiessurpassedthoseofitscreators– Leadtointelligenceexplosion• Somebelievethatthiswillhappeninthenextgeneration• AIwillbethevehicletospreadhumancivilizationthroughouttheuniverse(RayKurzweil:TheSingularityisNear)58SlidesCourtesy:WeiXuAreaV2• • • • • 1.5公斤,占2%的体重,却消耗20%身体的能量.大脑有1000亿神经元每个神经元有大约5000个神经突触没个神经元的firingrate:200次每秒每秒计算能力:– 10^11*5000*200=10^17=100petaflops– 20W,5petaflops/w• 目前最快的计算机(天河二号）– 33.86petaflops– 18*10^6w,2.14Gflops/w59人类大脑SlidesbyWeiXuRetinapixelsDeepArchitectureintheBrainAreaV4HigherlevelvisualabstractionsPrimitiveshapedetectorsAreaV1Edgedetectors19501960197019801990200020102020TheSingularityisNearxGFLOPS/ThousandDollar1000010010.010.00010.0000011E-081E-1060xSingularitySlidesbyWeiXu深度学习总结和展望- 百度是深度学习最前沿科技公司之一（deeplearning.net)- 深度学习的关键技术在以下领域需要持续突破：- 大规模海量数据并行训练平台- 对于结构和非结构数据的深度学习建模技术- 对于语言，语义，知识的建模，学习，表示，集成- 线上模型压缩加速技术- 依赖于高性能计算，大脑认知机理，等领域的发展