科大讯飞医疗信息技术有限公司人工智能技术在医疗行业的应用人工智能最新进展医疗行业应用案例介绍DNN在语音识别上的成功CNN在图像识别上的成功深度学习(Hinton2006)第三次浪潮60年历经2次起伏,现在已经进入美国《AI产业发展规划》AI首次写入《政府工作报告》2000第二次AI冬天1990第二次黄金期第五代计算机失败,DARPA削减投入Hopfield网络&BP算法第五代计算机兴起1956Dartmouth会议1970第一次黄金期LogicTheorist第一款人工智能软件Perceptron第一款神经网络软件1980第一次AI冬天人工智能的第三次高速发展建立在信息化的普及和行业大数据的积累的基础上因此更有可能在一定的领域内解决实际问题并获得前所未有的成功人工智能的三次浪潮运算智能能存会算感知智能能听会说,能看会认认知智能能理解会思考人工智能的三个阶段智能语音交互:使信息时代各种信息机器像人一样“能听会说”的技术,包括语音合成、语音识别和自然语言理解等可以将任意的文字信息转化为自然流畅的语音,相当于给机器装上了人工嘴巴可以将语音中内容、说话人、语种等信息识别出来,相当于给机器装上了人工耳朵可以对自然语言进行语义理解给出适合的指令集合,相当于给机器赋予人工的大脑语音合成技术语音识别技术自然语言理解感知智能:语音交互技术303234363840愉悦感停顿节奏重读声调情感耐听性L讯飞系统第二名系统《HanselAndGretel》Thatnight,Gretelhadnightmaresaboutmonstersinthewoods.I'mscared,shesaid,fromunderthecovers.Whatarewegoingtodo?“Don'tworry,saidHansel,whowaslyingwideawake.Ihaveanidea.Quietly,hetiptoedoutside.STOP2006-2013比赛语种英语2012年英语合成自然度首次超过普通发音人2014-2015比赛语种印地语2017国际语音合成大赛(BlizzardChallenge)再次夺冠(十二连冠)4.74.23.63.53.12.52.32.32.31.71.5012345ACIFBGDHJKE自然语音自然度科大讯飞:唯一自然度大于4分的系统2016BlizzardChallenge英文4.2印地语3.9中文4.5满分5分4分3分2分1分人工智能行业最新进展—语音合成98%识别率1.2亿月活用户讯飞输入法人工智能行业最新进展—语音识别92%97%英文手写识别率混合图文识别率>92%人工智能行业最新进展—图文识别94.1%2017年8月刷新LUNA世界纪录医学影像肺结节检测领域最权威国际评测参赛单位:奈梅亨大学、阿里巴巴、香港中文大学、北京大学、浙江大学、Mevis以及诸多新兴创业公司人工智能行业最新进展—医学影像81.4%自动驾驶场景分割任务参赛单位:Google、香港中文大学等40多家国内外优秀创新企业和顶尖学术机构2017年10月刷新Cityscapes世界纪录由奔驰发起,自动驾驶领域最权威国际评测人工智能行业最新进展—图像理解86.45%斯坦福SQuAD机器阅读理解大赛冠军2017年10月刷新SQuAD世界纪录阅读理解领域最权威国际评测参赛单位:微软亚洲研究院、Google、Facebook、IBM、Salesforce、斯坦福大学、卡耐基梅隆大学、清华、北大、复旦等国内外企业和科研机构人工智能行业最新进展—阅读理解智医助理参加2017国家执业医师考试456分人工智能行业最新进展—医学推理习近平、李克强、张德江、俞正声、刘云山、张高丽等多位领导同志都对科大讯飞表示高度认可人工智能行业最新进展—中央领导高度关注①强化学习(ReinforcementLearning)②360°自拍(The360-DegreeSelfie)③基因疗法2.0(GeneTherapy2.0)④细胞图谱(TheCellAtlas)⑤自动驾驶货车(Self-DrivingTrucks)⑥刷脸支付(PayingwithYourFace)⑦太阳能热光伏电池(HotSolarCells)⑧实用型量子计算机(PracticalQuantumComputers)⑨治愈瘫痪(ReversingParalysis)⑩僵尸物联网(BotnetsofThings)强化学习ReinforcementLearning主要研究者:美国-DeepMind-Mobileye-OpenAI-Google-Uber中国-科大讯飞-阿里巴巴-微软亚研院-中科院-百度1.Nvidia2.SpaceX3.Amazon4.23andMe5.Alphabet6.iFLYTEK(科大讯飞)7.KitePharma8.Tencent(腾讯)9.Regeneron10.SparkTherapeutics11.Face++25.DJI33.Foxconn41.Alibaba(阿里巴巴)42.HTC49.AntFinancial50.Baidu(百度)2017全球50大最具技术创造力企业MITTechReview:2017AI+时代:人工智能改变世界的3要素累计终端数2017/112016/119亿日均使用次数29亿第三方创业团队23.6万+66%+133%+130%数据来源:讯飞开放平台打造AI+产业生态:AIUI开放平台人工智能最新进展医疗行业应用案例介绍2016年6月2017年2月2017年3月2017年5月2017年7月国办发〔2016〕47号《国务院办公厅关于促进和规范健康医疗大数据应用发展的指导意见》支持研发健康医疗相关的人工智能技术国卫办医发〔2017〕7号《人工智能医疗技术管理规范和质量控制指标》人工智能辅助诊断技术临床应用质量控制指标(2017版)人工智能辅助治疗技术管理规范(2017版)人工智能辅助治疗技术临床应用质量控制指标(2017版)中国人民共和国全国人民代表大会中国人民政治协商会议人工智能首次被写入政府工作报告“一带一路”国际高峰论坛人工智能被列入国家数字丝绸之路规划《新一代人工智能发展规划》推广应用人工智能治疗新模式新手段探索智慧医院建设医疗行业应用—人工智能政策推动医疗行业发展11月15日,科技部召开《新一代人工智能发展规划》暨重大科技项目启动会上,宣布首批四家国家新一代人工智能开放创新平台名单明确依托科大讯飞建设智能语音国家新一代人工智能开放创新平台基于医疗语音及人工智能技术的医疗语音云平台已率先落地医疗行业应用—新一代人工智能开放创新平台人工智能辅助诊疗中心智慧医院智医助理医疗行业应用—基于医疗人工智能云的产品布局1个医学人工智能平台,诊前、诊中、诊后3个场景,门诊、住院、移动等7个核心应用产品,能力互享、业务互通。智慧医院●医学人工智能平台导诊导医机器人智能病史采集门诊/住院语音电子病历医疗语音录入系统移动医护平台影像辅助诊断院后智能随访诊前诊中诊后智慧医院整体解决方案医学人工智能平台•智能语音识别•智能语音合成•自然语言理解•医学图像识别•医疗大数据分析•OCR识别等医•学•知•识提供语音识别、自然语言理解、OCR、医疗影像辅助诊断算法及模型、基于认知智能的辅助诊疗算法及模型导诊导医机器人“晓医”导诊人员配备有限护理人员的短缺是全球护理工作的一个难题;部分医院护士编制有限,导诊服务人员并不全由护士担任;部分医院只在门诊大厅设有导诊咨询台,更难满足病人的需要;医院扩容后,导诊人员需求量大增。导诊人员水平有限存在非护士专业人员担任,缺乏专业知识和岗位经验;部分医院缺乏对导诊导医岗位的专业培训;就诊人数日益增多,对导诊人员的要求大大提高。导诊工作缺乏统一工作标准导诊、分诊和咨询工作缺乏具体的工作标准和工作流程;导诊服务人员服务质量考核标准也需进一步完善。麦克风:7+1麦克风阵列1300万像素高清摄像头工业滑轮底盘,行走速度20cm/s,最快可达60cm/s13.3寸1080P高清显示屏语音交互决策、智能应答触屏点击路线指引医学常识问答智能分诊便捷业务办理满意度调查院内导航指引报告单查询…….手势识别人脸识别语音识别语音合成语音理解医学知识库导诊导医机器人“晓医”演示视频导诊导医机器人“晓医”检查+记录2人合作检查后记录2倍时间病历模板不能涵盖患者情况纸质病历,信息极少,医院没存无法管理口腔科门诊医生,针对每个患者需要记录患者的主诉、病史、检查、诊断等内容,并编写病历。诊疗过程中门诊医生在牙椅旁边没有时间和空间进行病历记录。诊疗结束后,医生再撰写病历耗费大量时间,也存在遗忘患者口腔病情信息的可能。口腔门诊语音电子病历定制领夹式麦克风接收器发射器麦克风口腔门诊电子病历系统主要功能患者列表病历录入患者预约历史患者既往病历模板管理统计分析病历检索+口腔门诊语音电子病历多麦克风阵列,超低功耗,续航超心形波束指向,降噪医生诊治过程全程录音返回识别结果、结构化电子病历调用自然语言理解服务院内医疗语音云医学术语识别准确率超过效率提升口腔门诊语音电子病历口腔门诊电子病历系统现场使用情况口腔门诊语音电子病历医疗语音录入系统医疗语音录入系统语音输入拼音功能专用符号语音输入专业定制麦克风一分钟400字,字准确率95%以上。继承科大讯飞在业界领先的声学模型建模技术,利用手机输入法日使用量达1亿次会话的数据支撑,持续优化医疗语音输入法的声学迭代。在医学文本数据方面,积累了数百万的医学专有名词、几百G的语料文本、覆盖各科室病历等术语和各类医学文献资料。核心引擎运算优化技术,持续提升响应时间,基于云服务,在保障快速响应的同时又节约了建设和运维成本。采用讯飞智能拼音引擎,内置百万词库,覆盖海量日常用语,并且针对医疗领域加入也加入了80万常用词库。10mltid36.4℃120次/分124/80mmHg77.9%;100ng/mL;g/L专业级定制麦克风,具备定向、识音和主动降噪功能、优化医生声音采集,能够自动屏蔽无关语音信息并实现全语音交互控制下的语音病历高质量录入。患者超声检查需要记录大量检查内容,例如产科、心脏超声检查等至少需要记录10几项数据,医生在检查过程中没有时间和空间进行记录。轮转及进修医生不足的情况时有发生,在夜班及轮转进修医生不足情况下医生一个人独立完成超声在效率和质量上肯定会有所舍弃,然而转录员的招聘无疑会增加医院的各项成本和管理难度。超声科智能语音助理主要以下功能实现:(1)超声检查过程实时录音;(2)语音调出超声检查模板;(3)录音实时识别并填充结构化模板;(4)将模板引入到电子病历系统中进行保存。通过语音识别+超声科模板的方式真正改变传统超声科病历录入模式智能超声语音助理缺点:查房过程中医嘱或病程关键信息无法录入或者录入非常麻烦;移动查房安全认证机制在便捷性和安全性无法平衡;平板PAD等设备数量有限,医生需交接设备。传统临床医生查房移动查房时代缺点:需携带病历夹,非常麻烦;患者诊疗及检查检验信息获取效率低;查房记录信息重复录入电脑人工智能查房时代对接医院HIS、EMR、RIS、LIS、PACS等信息系统资源;支持手机、PAD终端的IOS、Android系统;查房过程中医嘱或病程关键信息语音直接录入最高效,终端和工作站同步;声纹人脸融合安全认证机制,易用安全。云医声移动医护工作站病人全景数据实时呈现智能语音交互自然语言搜索患者记录语音录入查房记录,医嘱,处方等根据病人信息推送相关指南、文献云医声移动医护工作站讯飞医疗人工智能产品–应用效果97%医学语音识别率达识别率95%病历结构化比例结构化率平均病历书写效率提升效率4X100%电子病历使用率增加使用率导诊导医机器人交互次数统计注:数据截止11月17日8月20号开始每周交互次数4215次增加到每周30000,最近一周单台机器人日均1089次每周在周三、周四使用最多12点~13:00时段机器人交互达到最高峰(排除闲聊的数据)口腔门诊语音电子病历数