搜索
医疗智能实践与探索阿里云智能-达摩院-人工智能中心，迟颖2019.08②知识爆炸，挑战认知能力与专业能力现有医学文献2400万篇年均新增766500篇①资源短缺，且短期内不可能补齐*数据来源：卫生统计年鉴及国家卫计委行业标准③人员数量及质量问题，导致医疗质量不可控误诊人数5700万/年④缺人、限价、低效使绝大部分医院处于亏损状态医生配置标准与需求与实际医生数量差距医疗健康行业现状与痛点医瞳自动检测病灶结节并进行良恶性诊断•器官自动分割•严重程度分级•多病种联合筛查预见寻微自动搜索推荐历史病例及影像资料•快速检索、结果融合与排序•分析报告生成医疗智能产品概述•机器辅助标注•机器智能知识图谱BackwardmodelParallelcorpusParallelcorpusMonolingualCorpusSourcesideTargetsideTrainingSyntheticCorpusGenerationForwardmodelTestdataResultTraining•机器翻译模型医疗健康智能产品1视觉引擎多器官诊断、小样本训练、高精度、自动标注3搜索引擎医学特征提取、多模态检索、医疗辅助2知识引擎医疗翻译、信息抽取、图谱建模视觉引擎视觉引擎平台产品介绍以AI技术为基础，结合医疗影像、病理信息、结构化病历等多维医疗数据，输出辅助诊断信息，帮助医生快速高效的对患者病情进行诊断和安排治疗方案。多器官多病种支持多模态数据联合筛查支持对肺、肝、骨科、心脏等多器官的辅助诊疗，同时对单一器官病灶可以同时实现多种不同疾病的诊疗判断。对病灶的检测结果，会返回多维诊断信息，包括病灶的精确分割、病灶大小、良恶性判断、病灶跟踪等。实现医疗影像、病理信息、患者病历等多维数据的联合诊断，输出更加精准的诊断结果，提升整体诊疗水平。多维诊疗信息输出诊断报告自动生成肺癌在所有恶性肿瘤发病急死亡中均占首位，我国每年约59.1万人死于肺癌。肺癌生存率与首次确诊时的疾病阶段高度相关。因此，对癌症的早期检测和早期诊断就显得尤为重要。肺部疾病检测引擎可以自动、快速、准确的从病人的胸部CT扫描序列中发现疑似病灶位置，降低肺癌早期筛查的成本，提高检测速度和检测的准确率，缓解医疗资源的紧张，挽救更多患者的生命。结节及多种疾病检测肺部区域分割肺部疾病检测引擎—简介.-*i-以%&F3&+5PISSMUOMEA&(6;D4;b&.oi&%%%m以a•肺结节•区域分割•肺叶分割•肺结节检出•结节属性分析•结节轮廓分割•诊断报告自动生成•肺部综合•肺部综合疾病筛查一期已经落地，后续正在计划中肺部疾病检测引擎—功能产品功能产品案例与价值-肺结节及肺部综合与阿里健康、万里云等平台合作，面向客户输出肺结节及肺部综合的辅助诊断能力。累计产生近千万次调用，帮助医院、药企、体检机构、影像中心、基因公司和高校等带来商业与社会价值。基于AI技术实现全自动肝脏、肝脏血管系统与肝结节的分割，同时在增强CT下实现肝结节良恶性的自动识别，为医生提供强大的术前模拟规划及术后的量化评估功能，并为早期肝癌诊断提供可能。可以覆盖多种使用场景，如精准肝切除规划，血管与肿瘤安全边界的分析，肝脏移植术前术后评估，肝脏周围相关器官及管道的量化分析。肝脏结构3D可视化肝脏模块—简介肝脏及肝结节分割多模态肝脏配准肝血管的提取小样本学习降低血管标注人力成本与标注难度，提升标注效率，算法论文已提交MICCAI2019多模态配准高效的肝脏多模态影像配准，为手术导航、术后评估提供精准分析高效辅助标注工具取代纯手工标注，缩短标注周期，提升标注质量，其使用的算法获得LiTSChallenge三项指标第一。肝脏模块—特点StraightenedCPR完整的冠脉树斑块识别小样本学习探索小样本训练AI模型，算法在鹿特丹国际评测标准，Challenge2中排第一名，论文已经提交MICCAI2019全自动算法为了进一步降低医生交互的工作量，全自动的冠脉树提取算法在临床数据中验证了优越性和鲁棒性智能标注系统每根血管只需一个任意的点，就可以自动搜索出完整的血管，大大降低了标注成本。系统还支持分段、命名、斑块等标注（请见下页）。心血管疾病诊断心脏冠脉智能标注系统o每根血管只需一个任意的点，就可以自动搜索出完整的血管，大大降低了标注成本。系统还支持分段、命名、斑块等标注深入场景，完整解决方案精细化诊疗解决痛点经过实际场景验证多家国内外医院合作，落地医联体和银川国家医院完整的智能骨科方案，覆盖膝关节、脊椎和膝关节，覆盖多病种覆盖定位、分割和测量核心技术，辅助评估致病因素和确定诊疗方案。正在撰写期刊智能骨科引擎智能骨科一脊柱研究脊柱结构抽取脊柱中椎体和椎间盘的高精度分割和测量辅助诊断细粒度区分退变性疾病，灵敏度和特异性大于90%脊柱椎体正常退行性改变椎间盘正常病变膨出弥散性膨出非对称性膨出疝出突出脱出游离椎体内疝出智能骨科一脊柱研究沉淀数据，挖掘数据价值，数据驱动科研，赋能伙伴沉淀和有效管理罕见和典型病例，为医生提供科研数据库部分病种诊断标注不清晰，数据定量分析推动标准完善海量数据分析，统计多发部位，挖掘病种相关性……术前测量全自动特征点位置、角度和长度的测量产品案例与价值-骨科与唯医骨科联合打造唯医骨科西北中心骨科智能分诊及诊断系统病理影像分析（肝,胃,乳腺,前列腺等）0.1.32.53.85.类别1类别2类别3类别4全自动影像分析:位置，半径，周长，面积，形状，多少等参数精准的量化分析更高效、精准的检测和学习基因、蛋白、和药品研发的关系基因和蛋白的研究一个经典的基因转录和蛋白合成的动画教材片自动肺和肝标注自动心血管标注业界领先的全自动的冠脉提取算法，冠脉树一点即成，血管标注简单易见自动脊柱标注自主研发的高精度脊柱分割算法，分段分割同步完成，脊柱标注不再繁琐内嵌国际领先的肺，肝分割算法，自动生成器官的预分割，辅助标注更准确高效医疗智能标注基于阿里云系列产品的云端标注系统，跨平台，易部署，随时随地放心使用支持CT、MRI，X-rayPET等多模态、多序列医学影像，快速三维重建功能让数据完整呈现跨平台云端标注支持丰富的数据种类灵活多样的标注类型不同类别标签同时标注，灵活的自定义标签满足多种标注场景影像上传数据存储数据管理医疗智能标注的特点智能用户交互通过简单的点击，用户就可快速修改分割结果，生成临床可用的高精度模型算法自动将用户的二维初始标注生成到三维数据中，极大的简化了费时费力三维标注高效三维标注医疗智能标注的特点医疗健康智能产品1视觉引擎多器官诊断、小样本训练、高精度、自动标注3搜索引擎医学特征提取、多模态检索、医疗辅助2知识引擎医疗翻译、信息抽取、图谱建模知识引擎药物不良反应翻译基于医学知识图谱的智能问答医疗机器翻译医疗行业内存在大量的翻译需求，专注解决医疗行业内部的中英文翻译需求。有效降低客户在大量翻译需求上的开支。医学相关知识图谱借助于庞大的医学知识库，大幅度降低行业从业人员的知识获取难度。同时，审方，实验室数据分析，CDSS等需求得以自动化完成。疾病预测自动分析emr/ehr数据，影像检查报告等文本数据，从中提取出相关信息，预测疾病发生及病程发展进程。基于结构化量表数据的预测模型知识引擎药物不良反应翻译应用场景医疗行业内存在大量的翻译需求，如药物不良反应，新药注册等。专注解决医疗行业内部的中英文翻译需求，有效降低客户在大量翻译需求上的开支，提高效率医学机器翻译基于文本和文件，支持自定义字典和人工审核。药物ADR翻译，医学报告、文献翻译。医疗行业大会实时机器翻译及电子病历录入基于自注意力机制（self-attention）的Transformer模型来实现源语言句子到目标语言句子的转换编码器和解码器内部结构系统模型结构图模型架构实践案例与阿斯利康深度合作医学机器翻译•国外文献、医疗案例多为英文文档，需要花费较长时间进行人工翻译；•人工智能和大数据等技术发展飞快，特别是机器翻译的技术，基本具有企业实际应用的可能性；•利用AI机器翻译的手段处理专业英文文本是医疗行业的重要需求；•有效降低客户在大量翻译需求上的开支。实现高质量的医疗领域中英双向机器翻译系统医学机器翻译并行化处理，使得翻译效率大幅提升。文件解析能力，适应用户不同文件格式输入。丰富的医学术语库，更好的识别医学术语。私域化部署，保证客户的数据安全。1432基于医学知识图谱的智能问答应用场景借助于庞大的医学知识库，大幅度降低行业从业人员的知识获取难度。同时，审方，实验室数据分析，CDSS等需求得以自动化完成。知识图谱实践案例基于卵巢癌知识图谱+天猫精灵的智能患教知识图谱构建•采用最新的信息抽取技术，将疾病相关的知识从各种信息源中提取出来。其信息源包括行业最新论文，互联网知识等。•抽取得到的信息会又医学部的同事做审核，审核通过的数据会进行入库。采用最新的图数据库进行数据的存储和可视化。如右图所示。•当获取到用户语音输入之后，得到用户的意图，进而根据问题在图数据库内进行检索，最终根据库内所存储的信息通过语音合成的方式反馈给用户。机器辅助标注机器智能知识图谱利用深度学习预测哮喘的严重等级应用场景在医疗数据的基础上，利用深度学习预测疾病的严重等级及病程发展，如哮喘，慢阻肺等。疾病预测实践探索基于深度学习的哮喘筛查诊疗一体化方案优化哮喘等呼吸门诊诊断过程中涉及到的肺功能仪的诊断效率及用户体验疾病预测-AI辅助心肌缺血预测诊断左图：ML鉴别心肌缺血患者，与使用ML选择特征的logistic回归和使用ESCCAD管理指南中变量的logistic回归对比右图：MACE风险预测，ML选择特征的logistic回归和使用指南中的评分风险模型变量的logistic回归对比潜在心肌缺血或有MACE风险医生AI经验+GuidelinesML、DL优点无法捕捉多种预测因子间的复杂交互关系具有解释数据中复杂模式的能力存在的问题医疗健康智能产品1视觉引擎多器官诊断、小样本训练、高精度、自动标注、3搜索引擎医学特征提取、多模态检索、医疗辅助2知识引擎医疗翻译、信息抽取、图谱建模搜索引擎自动医学特征提取多模态数据互相检索临床科研助力器发觉复杂数据背后的临床规律，丰富的统计功能让临床科研更加高效基于内容的检索，以图搜图，以文搜图，以图搜文，让数据会说话数据驱动的特征提取，快速处理海量数据，贴合临床的精排规则打造专业的医学特征库医疗搜索平台医疗搜索平台-Demo华先胜高级研究员城市大脑实验室主任视觉AI国际权威学者IEEEFellow达摩院人工智能中心负责人ACM杰出科学家国家千人计划特聘专家全球MITTR35获得者将担任ACMMultimedia2020大会主席张磊高级研究员视觉AI国际权威学者IEEEFellow香港理工大学讲席教授论文引用次数超过3万9千次H-index96IEEETIP等多份权威期刊的编委/高级编委团队情况在CVPR、ACMMM等多个顶会上发表数十篇论文，另有大量专利及软著团队影响力团队在多项世界大赛中拔得头筹Luna16比赛世界第一LiTS比赛五项世界第一Kitti行人、车辆检测世界第一谢谢观看！