深度学习与智能对话机器人

深度学习与智能对话机器人技术创新，变革未来目录•对话机器人的兴起•爱因互动的Bot技术：DeepBot及其他•对话机器人的商业实践对话机器人简史爱因互动-下载量比前—年下降20%-前3位APP占据80%时间-过去2年消息平台爆发式增长-70%用户倾向千文本消息而非电话-2016.3微软BotFramework-2016.4FacebookMessenger平台-2016.5GoogleAssistant-2016.6苹果SiriSDKChatbot在GoogleTrends中搜索量的变化主流消息平台使用增长情况对话服务爆炸式增长爱因互动-•为企业提供人工智能对话解决方案•ConversationasaService爱因互动合作示例•订餐⼩小秘书槽位提取意图识别商品推荐多轮对话回复⽣生成爱因互动-对话框架•融合•不同的问题，不同的框架，不同的模型问题分析——实体识别•亦称为槽位提取•序列标注问题•HMM/CRF•LSTM•BiLSTM-CRFLQSXWHPEHGGLQJ%L-511FRQFDWHQDWHGRXWSXWODEHOLQJӞӻ፠૞ӳ૞กภ6ᅩጱ۱૞222%-1%-7,-72%-5ଆ౯ᦈRoute-Bot——领域/意图检测•单轮识别模型•RNN/CNN+DNNLQSXWHPEHGGLQJ/670IXOO\FRQQHFWHGRXWSXW＜ॠ࿈!۹Ղกॠॠ࿈ই֜Ҙ•多轮识别模型：多轮对话•RNN/CNN+RNNLQSXWHPEHGGLQJVHQWHQFH511,QWHQWWUDFNLQJRXWSXW＜૞૞!＜૞૞!＜ॠ࿈!＜૞૞!＜૞૞!WUDQVLWLRQ511＜૞૞!＜ॠ࿈!૞ฎ೭૞ހҘଆ౯ᦈ૞จ૬ظกॠ૞ฎॠษҘFAQ-Bot•特色•语义匹配•问题带背景•答复带参数༄ᔱ᯿ഭଧ᯿᯿ړ᯿.%/.*᯿᯿ᒼໜڜ᯿@܃᯿᦯／᦯Ԏ᦯॔᦯ݙݙ᦯᦯᦯᦯᦯7)-,')44PDWFK4$PDWFK%XVLQHVV/W5'11•匹配模型•CNN/RNN+DNNᅷᙂ૞૞૞҅ஞఘḘӤঅឭٌ૞ওጱஞఘӧঅ૞Task-Bot•系统框架•SLU-DST-DPO-NLG,nform(or()r_op==丁，r)staurant_nam)=云海肴，subbranch=中关村店）request(phone,name)$65'67᯿᯿ړ᯿.%/.*᯿᯿ᒼໜڜ᯿@6/8'327761/*•特色•任务包含20+种实体•实际项目中包含实体最多的任务Task-Bot•DM:DST+DPOàDRL••帮助三方共赢Rec-Bot•系统框架：线下+近实时+实时Rec-Bot•各种交互数据አ᯿－Ծ᯿I1I2I3InU1U2U3UmŏŏD1D2DkU1U2U3UmŏŏI1I2I3Inŏአ᯿－ᵱ᯿－Ծ᯿U1U2U3UmU1U2U3Umŏŏአ᯿－አ᯿Rec-Bot•代表性模型•Item/User-basedkNN•MF•FM•DNN/CNN/RNNRec-Bot•表征用户•利用表示学习获得用户相关的各种特征，再把这些表示结果用于预测用户的短期需求和长期需求Rec-Bot•表征产品•每个产品包含的服务以及价格等基本信息，可以显性刻画此产品；而用户对产品的购买等行为数据，可以隐性地刻画此产品Rec-Bot•表征用户×产品•在获得了用户与产品的表征向量，以及用户的短期与长期需求后，使用推荐模型从历史数据中学习模型•目标函数借鉴LearningtoRank•Point-wise•Pair-wise•List-wiseRec-Bot•融合（Ensemble）•兴起于NetflixPrize竞赛，已成业界标配•常用组合方法•预测值组合：组合多个算法的预测值•LinearReg,NN,GBDT,RF•特征扩充：一个算法的输出作为另一个算法的输入特征•切换：不同算法间相互切换•DT,Rule-based爱因互动-•准确度之外的其他指标•覆盖面（Coverage）：被推荐的物品占所有物品的比例•多样性（Diversity）：覆盖用户各方面的兴趣，而不仅是一部分•新颖性（Novelty）：推荐长尾（小众）部分的物品•惊奇性（Serendipity）：用户不期望系统能推荐，但用户真感兴趣•多目标•Pareto边界：在保证其他目标在一定约束范围内，优化主要的一个目标•多个目标综合为单个目标•技术指标≠业务指标Rec-Bot•推荐理由•使用推荐服务时，用户往往没有明确需求，推荐系统需要提供能说服用户的理由•通过产品提供的服务•通过服务消耗可以推断用户兴趣，进而产生推荐理由•通过优惠信息•通过具体的节省计算Chitchat-Bot•检索+生成式•检索•保证可靠性：允许客户添加qa对，秒级生效•生成式•保证100%召回：可以回答任何问题，降低知识库维护门槛•特色•使用coverage机制保证生成式语句不重复•使用copy机制保证稀有词的产生•使用MMI提升生成结果的多样性LQSXWHPEHGGLQJUQQDWWHQWLRQIXOO\FRQQHFWHGRXWSXWٷளጱᵨॠHRV!0.40.30.20.10.0۹Ղกॠॠ࿈ই֜ҘJR!ٷளጱᵨॠ改进seq2seq•注入额外的信息•背景信息：主题关键词sequencetobackwardandforwardsequences改进seq2seq•注入额外的信息•对话双方的个人信息APersona-BasedNeuralConversationModel改进seq2seq•注入额外的信息•常识：知识库/图谱NeuralGenerativeQuestionAnswering改进seq2seq•注入额外的信息•上下文BuildingEnd-To-EndDialogueSystemsUsingGenerativeHierarchicalNeuralNetworkModelsCUI/GUI商业实践CUI/GUI效率信息展示的广度和深度感受时间感与空间感对沟通的影响预期个性化、参与感、自我学习与进化爱因互动-对话的商用原则用户价值：通过对话高效解决问题稀缺性：成为细分领域的关键业务环节技术成熟度：选择合适的技术爱因互动-对话商用场景•清晰的知识结构和边界•非标准化服务，信息不对称•能够通过数据积累提升服务质量•能够建立知识和技术壁垒爱因互动-几个有趣的场景智能投顾、保险、理财等销售转化对话式的发现、解释和推荐消息平台的LandingPage总结趋势是大的技术是不够的商业是要探索的