搜索
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号(43)申请公布日(21)申请号201910312479.5(22)申请日2019.04.18(30)优先权数据15/9580192018.04.20US(71)申请人西门子医疗有限公司地址德国埃朗根(72)发明人T.曼西 F.梅斯特 T.帕塞里尼 V.米哈勒夫 (74)专利代理机构中国专利代理(香港)有限公司72001代理人郑瑾彤 刘春元(51)Int.Cl.G06T7/00(2017.01)(54)发明名称实时且准确的软组织变形预测(57)摘要本发明涉及实时且准确的软组织变形预测。对于软组织变形预测，使用生物力学或其他组织相关的物理学模型来找到软组织的瞬时状态。应用机器学习的人工神经网络来根据瞬时状态预测体积元素（例如，网格节点）的位置。由于机器学习的人工神经网络可以快速预测（例如，在一秒或更短时间内），因此在给定瞬时状态的情况下实时地提供不同时间或另外的时间处的软组织位置，而无需数分钟的物理学模型计算。例如，提供了实时的生物力学解算器，允许与软组织模型的交互，同时仍获得准确的结果。该准确度允许生成具有更高准确度的软组织图像和/或允许实时用户交互的益处。权利要求书2页说明书14页附图4页CN110400283A2019.11.01CN110400283A1.一种用于软组织变形预测的方法，该方法包括：通过用生物力学解算器以第一时间增量随时间对多个样本仿真软组织变形来生成训练数据库；机器训练人工神经网络，以根据从生物力学解算器计算的样本随时间的瞬时生物力学特性和位置来预测作为时间的函数的软组织模型的节点位置的变形特性；通过经训练的人工神经网络根据来自生物力学解算器的瞬时生物力学特性和当前位置来预测软组织位置，所预测的软组织位置是以大于第一时间增量的第二时间增量；以及生成变形之后的软组织的图像。2.根据权利要求1所述的方法，其中，仿真和预测包括以第二时间增量进行仿真和预测，所述第二时间增量是第一时间增量的至少500倍。3.根据权利要求1所述的方法，其中，机器训练包括执行学习深度神经网络，其具有基于前馈的架构，和/或具有长短期记忆或门控递归单元的递归神经网络。4.根据权利要求1所述的方法，其中，机器训练和预测包括用瞬时力进行机器训练和预测，所述瞬时力包括外力、表面力和内力之和。5.根据权利要求1所述的方法，其中，预测包括根据加速度的时间积分来确定软组织位置。6.根据权利要求5所述的方法，其中，确定包括根据加速度在时间上积分速度并根据速度在时间上积分软组织位置。7.根据权利要求6所述的方法，还包括在预测之后对加速度、速度和/或软组织位置应用边界条件。8.根据权利要求1所述的方法，其中，生成包括以第一时间增量仿真软组织变形作为网格随时间的序列，其中，用于机器训练的位置是网格的节点的位置，并且其中，预测软组织位置是预测软组织的网格的节点位置。9.根据权利要求1所述的方法，其中，生成图像包括从扫描数据重建图像，其中重建使用所预测的软组织变形，利用来自患者的不同扫描的配准生成图像，其中配准是基于软组织变形，或者生成从所建模的改变仿真的图像，其中使用软组织位置来解算用于仿真所建模的改变的模型。10.根据权利要求1所述的方法，其中，预测包括响应于对软组织状态的改变的用户输入来进行预测。11.一种用于由医学成像系统预测软组织变形的方法，该方法包括：由医学成像系统扫描患者；根据来自该扫描的扫描数据来估计用于软组织的网格，该网格表示第一时间处的软组织；拟合生物力学模型；由经机器学习的人工神经网络根据生物力学模型针对第一时间指示的力学状态来预测网格在第二时间处的变形；以及生成软组织的图像，该图像是基于所预测的变形。12.根据权利要求11所述的方法，其中，预测包括将变形预测为网格在第二时间处的位置。权 利 要 求 书1/2页2CN110400283A213.根据权利要求11所述的方法，其中，经机器学习的人工神经网络是使用第一时间增量训练的，并且其中，预测包括由经机器学习的人工神经网络在第一和第二时间之间的差大于第一时间增量的情况下进行预测。14.根据权利要求11所述的方法，其中，预测包括利用包括瞬时力之和的力学状态进行预测。15.根据权利要求11所述的方法，其中，预测包括预测加速度并根据加速度的时间积分方案来确定网格的节点位置。16.根据权利要求11所述的方法，还包括接收用户输入，并且其中，预测包括基于用户输入并且在接收到用户输入的一秒内进行预测。17.一种用于软组织变形预测的系统，该系统包括：至少一个医学成像系统，其被配置成采集表示患者的扫描数据；图像处理器，其被配置成根据扫描数据对患者的软组织中的物理学进行建模，并且通过将来自物理学模型的当前力学状态应用于经机器训练的人工神经网络来预测软组织的位置；显示器，其被配置成显示基于软组织模型位置的图像。18.根据权利要求17所述的系统，其中，经机器训练的人工神经网络是用以第一时间步长的仿真进行训练的，并且其中，图像处理器被配置成以大于第一时间步长的第二时间步长来预测软组织模型。19.根据权利要求17所述的系统，其中，图像处理器被配置成用生物力学模型来建模物理学，并且其中，对经机器训练的人工神经网络的应用导致输出加速度，软组织模型位置是来自根据所预测的加速度的时间积分。20.根据权利要求17所述的系统，还包括用户输入端，其中，图像处理器被配置成利用来自用户输入端的输入实时地预测软组织模型位置。权 利 要 求 书2/2页3CN110400283A3实时且准确的软组织变形预测技术领域[0001]本实施例涉及计算软组织变形，诸如用于医学成像、计算机动画或游戏。确定器官变形对于医学图像重建、医学图像配准、用于数据集成和结果预测的数字孪生建模、三维（3D）网格编辑、增强或虚拟现实或其他应用来说可能是重要的。背景技术[0002]软组织的生物力学模型（例如，作为先验或约束条件）可以为确定所述软组织在各种条件下（例如，受到比如压力或重力的外力、比如硬度或主动应力的内力等）的变形提供更现实可行的能力。在给定边界条件、外力、本构定律和模型参数的情况下，现有技术明确地使用有限元方法或其他积分方法来解算生物力学方程。虽然准确，但不幸的是这些方法比较耗时，需要几分钟到几小时的计算才能实现高保真的仿真。存在实时的解决方案（例如，质量弹簧或无网格模型），但其代价是准确度。[0003]已探索了用于生物物理学仿真的基于机器学习或统计学习的方法，其主要用于计算流体动力学（CFD）。常用方法（例如，本征正交分解（POD））估计来自仿真数据库的解的子空间。在该子空间中解算CFD方程的解，并相应地重建最终解。该方法假设可以通过基函数的线性组合来重建解，而情况可能不是这样。结果，重建结果的准确度可能是次优的。已针对软组织力学以及其他物理学系统研究了类似方法。[0004]提出了更复杂的数据驱动的技术，诸如基于基于粒子的解算器的用来实时解算用于流体仿真的CFD的随机森林法。在给定流体粒子及其直接邻域的固有性质的情况下，预测大时间步长处的加速度。该预测是回归模型，使用随机森林来表示并以数千次仿真来训练。该方法显示出快速的仿真性能。然而，它是特别为CFD问题量身定制的，不能直接应用于生物力学或软组织的其他建模：状态不同，软组织是具有不同硬度的固体材料，并且由于偏微分方程的硬度增加，解算器的稳定性更为关键且在生物力学中更加难以维持。特别地，随机森林法经受高频数值误差，这将使计算难以掌控。[0005]用于快速计算可变形材料的模型降阶已被用于计算机图形学、流体仿真、视频游戏行业和计算机辅助设计中并具有良好结果。虽然这些方法对对象的变形空间执行模型降阶，但是较新的方法对对象的材料模型执行降阶。这些方法的使用范围尚未解决生理学上更准确且因此更加现实的生物力学模型。发明内容[0006]作为介绍，下面描述的优选实施例包括结合了有限元解算器和人工神经网络的用于软组织变形预测的方法、系统、指令和计算机可读介质。下面提出的实施例是针对生物力学系统描述的，但其也可以不失一般性地应用于其他生物生理学机制（例如电生理学、热传导等）。使用组织生物力学的有限元解算器（或其他类型的解算器或组织相关物理学）来估计在给定时间点处的组织的瞬时状态的表示。应用机器学习的人工神经网络来根据该瞬时状态预测每个体积元素（例如，网格节点）的下一位置。机器学习的网络可以预测在比解算说 明 书1/14页4CN110400283A4器能够计算（受到Courant-Friedrichs-Lewy条件的限制）的更远的时间处的软组织位置，因此产生更快的计算，同时与使用小时间步长计算出的数值解一样准确。例如，提供了实时的生物力学解算器，从而允许与模型进行交互，同时仍获得准确的结果。[0007]在第一方面，提供了一种用于软组织变形预测的方法。首先，以第一时间增量（例如，小时间步长，以确保准确的数值解）随时间用生物力学解算器对多个样本仿真多个软组织变形。然后训练人工神经网络以在给定了使用生物力学解算器计算出的软组织的瞬时状态的表示（例如，力、速度、位移或其组合）的情况下预测网格节点的组织变形（例如，加速度、速度、位移或其组合）。使用预测的组织变形来确定以第二时间增量的随时间的软组织变形，所述第二时间增量比第一时间增量大至少一个数量级。可以使用诸如阻尼或其他方法的数值稳定技术。基于软组织变形生成软组织的图像。[0008]在第二方面，提供了一种用于由医学成像系统预测软组织变形的方法。医学成像系统扫描患者。使用图像分割技术根据扫描数据估计用于一个或多个器官的网格。该网格表示第一时间处的器官。在给定了力学性质（硬度、力、来自生物力学模型的边界条件）的情况下，机器学习的人工神经网络根据由生物力学模型针对第一时间指示的力学状态来预测网格在第二时间处的变形。迭代该过程以计算器官变形的动态表示。生成器官的基于变形的图像。由于使用了机器学习的人工神经网络，第二时间不受生物力学模型的Courant-Friedrichs-Lewy条件的限制，因此产生更快的计算时间，同时与现有技术的解算器一样准确。[0009]在第三方面，提供了一种用于软组织变形预测的系统。至少一个医学成像系统被配置成采集表示患者的扫描数据。图像处理器被配置成根据扫描数据对患者的器官中的物理学进行建模，并且通过将来自物理学模型的当前状态应用于机器训练的人工神经网络来预测器官的位置。显示器被配置成显示基于软组织模型位置的图像。由于使用了机器学习的人工神经网络，软组织模型位置预测在时间方面不受生物力学模型的Courant-Friedrichs-Lewy条件的限制，因此产生更快的计算时间，同时与现有技术的解算器一样准确。[0010]本发明由后面的权利要求来限定，并且本章节中的任何内容均不应被视为对那些权利要求的限制。下面结合优选实施例讨论本发明的其他方面和优点，并且其可在稍后被单独或组合地要求保护。附图说明[0011]组件和附图不一定按比例绘制，而是将重点放在例示本发明的原理上。此外，在附图中，相同的附图标记贯穿不同的视图标示对应的部分。[0012]图1是器官变形预测方法的一个实施例的流程图；图2例示了用于预测软组织变形的人工神经网络的示例架构；图3A-D示出了针对圆柱体和肝脏的在基于机器学习的人工神经网络的位置和基于完全拉格朗日显式动力学（TLED）生物力学模型的位置之间的绝对点到点距离的示例可视化；以及图4是用于器官变形预测的系统的一个实施例。说 明 书2/14页5CN110400283A5具体实施方式[0013]基于生物力学或其他物理学的解算器在用于解算相关偏微分方程的时间增量的大小方面受到Courant-Friedrichs-Lewy条件的限制。对于动画、游戏和/或医学成像，这可能导致非实时建模，因此阻碍了它们在这些行业中的使用。为了克服这个问题，使用机器学习的人工神经网络来以任何时间步长预测基于物理学的模型的输出，所述任何时间步长包括比用于解算器的Courant-Friedrichs-L