医学图像的配准与融合

第八章医学图像的配准与融合8.1配准与融合的应用背景介绍8.2医学图像配准概述8.3图像配准的理论基础8.4常用的医学图像配准方法8.5图像配准的评估第八章医学图像的配准与融合8.6图像融合概述8.7常用的图像融合方法8.8图像融合效果的评价随着计算机技术的高速发展，医学成像技术日新月异，为临床医学提供了各种形态和功能的影像信息。但是各种成像技术和检查方法都有它的优势与不足，并非一种成像技术可以适用于人体所有器官的检查和疾病诊断，也不是一种成像技术能取代另一种成像技术，而是相辅相成、相互补充。8.1应用背景介绍根据医学图像所提供的信息内涵，分为两大类：解剖结构图像（CT、MRI、B超等）功能图像（SPECT、PET等）解剖图像以较高的分辨率提供了脏器的解剖形态信息（功能图像无法提供脏器或病灶的解剖细节），但无法反映脏器的功能情况。功能图像分辨率较差，但它提供的脏器功能代谢信息是解剖图像所不能替代的；8.1应用背景介绍目前这两类成像设备的研究都已取得了很大的进步，图像的空间分辨率和图像质量有很大的提高，但由于成像原理不同所造成的图像信息局限性,使得单独使用某一类图像的效果并不理想。因此，为了提高诊断正确率，需要综合利用患者的各种图像信息。8.1应用背景介绍最有效的解决方法：以医学图像配准技术为基础，利用信息融合技术，将这两种图像结合起来，利用各自的信息优势，在一幅图像上同时表达来自人体的多方面信息。更加直观地提供了人体解剖、生理及病理等信息。其中配准技术是图像融合的先决条件,必须先进行配准,才能实现准确地融合。8.1应用背景介绍二、医学图像配准在临床上的应用医学图像配准具有很重要的临床应用价值。对使用各种不同或相同的成像手段所获得的医学图像进行配准不仅可以用于医疗诊断，还可用于手术计划的制定、放射治疗计划的制定、病理变化的跟踪和治疗效果的评价等各个方面。临床应用举例1、计算机辅助手术中，外科医生根据配准的CT/MR/DSA图像精确定位病灶及周围相关的解剖结构信息，设计出缜密的手术计划。在手术过程中，利用三维空间定位系统使术前计划的虚拟病人、手术台上的真实病人和手术器械三者精确联系起来进行手术跟踪。二、医学图像配准在临床上的应用临床应用举例2、在癫痫病的治疗中，一方面需要通过CT，MRI等图像获得病人的解剖信息，另一方面又需要通过SPECT或PET等得到病人的功能信息，这两方面的结合将有助于对病人的精确治疗。二、医学图像配准在临床上的应用临床应用举例3、放射治疗中，应用CT和MR图像的配准和融合来制定放疗计划和进行评估，用CT图像精确计算放射剂量，用MR图像描述肿瘤的结构，用PET和SPECT图像对肿瘤的代谢、免疫及其他生理方面进行识别和特性化处理，整合的图像可用于改进放射治疗计划或立体定向活检或手术。二、医学图像配准在临床上的应用8.2医学图像配准概述一、医学图像配准的概念二、医学图像配准方法的分类三、医学图像配准的基本过程一、医学图像配准的概念医学图像配准是指对于一幅医学图像寻求一种（或一系列）空间变换，使它与另一幅医学图像上的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两张匹配图像上有相同的空间位置（位置一致，角度一致、大小一致）。配准的结果应使两幅图像上所有的解剖点，或至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。医学图像配准示意图一、医学图像配准的概念二、医学图像配准方法的分类到目前为止，图像配准方法的分类始终没有一个统一的说法。目前比较流行的是1993年VandenElsen等人对医学图像配准进行的分类，归纳了七种分类标准。（一）按图像维数分类按图像维数分为2D/2D，2D/3D，以及3D/3D配准。2D/2D配准通常指两个断层面间的配准；2D/3D配准通常指空间图像和投影图像（或者是单独的一个层面）间的直接配准；3D/3D配准指2幅三维空间图像间的配准。二、医学图像配准方法的分类（二）根据医学图像的模态分类单模态医学图像配准：是指待配准的两幅图像是用同一种成像设备获取的。一般用在生长监控、减影成像等。多模态图像配准：是指待配准的两幅图像来源于不同的成像设备，主要应用于神经外科的诊断、手术定位及放疗计划设计等。二、医学图像配准方法的分类（三）根据变换性质分类刚性变换：只包括平移和旋转。仿射变换：将平行线变换为平行线。投影变换：将直线映射为直线。曲线变换：将直线映射为曲线。二、医学图像配准方法的分类（四）根据用户交互性的多少分类自动配准：用户只需提供相应的算法和图像数据。半自动配准：用户需初始化算法或指导算法(如拒绝或接受配准假设)；交互配准：用户在软件的帮助下进行配准二、医学图像配准方法的分类（五）根据配准所基于的图像特征分类基于外部特征的图像配准：是指在研究对象上设置一些标志点，使这些标记点能在不同的影像模式中显示，然后再用自动、半自动或交互式的方法用标记将图像配准。基于内部特征的配准：主要包括三个方面：基于标记的配准方法、基于分割的配准方法、基于像素特性的配准。二、医学图像配准方法的分类（六）根据配准过程中变换参数确定的方式分类1、通过直接计算公式得到变换参数的配准：限制在基于特征信息(例如小数目的特征点集、二维曲线、三维表面)的配准应用中。2、通过在参数空间中寻求某个函数的最优解得到变换参数的配准：所有的配准都变成一个能量函数的极值求解问题。二、医学图像配准方法的分类（七）根据主体分类1、同一患者(Intrasubject)的配准：指将来自同一个病人的待配准图像，用于任何种类的诊断中；2、不同患者(Intersubject)的配准：指待配准图像来自不同病人，主要用在三维头部图像(MR、CT)的配准中3、患者与图谱的(Atlas)图像配准。是指待配准图像一幅来自病人，一幅来自图谱。二、医学图像配准方法的分类三、医学图像配准的基本过程1、根据待配准图像（浮动图像）I2与参考图像（基准图像）I1，提取出图像的特征信息组成特征空间；2、根据提取出的特征空间确定出一种空间变换，使待配准图像I2经过该变换后与参考图像I1能够达到所定义的相似性测度；3、在确定变换的过程中，还需采取一定的搜索策略也就是优化措施以使相似性测度更快更好地达到最优值。NY待配准图像I2几何变换T变换后的图像I*=T(I2)相似性测度评价T最优？最优T更新T初始变换T参考图像I1图像配准的流程图三、医学图像配准的基本过程8.3图像配准的理论基础一、图像配准原理二、空间变换三、参数的优化搜索四、插值方法五、相似性测度一、图像配准原理对于在不同时间或/和不同条件下获取的两幅图像A(x)和B(x)的配准，就是要定义一个相似性测度并寻找一个空间变换关系，使得经过该空间变换后两幅图像间的相似性达到最大（或者差异性最小）。即使图像A上的每一个点在图像B上都有唯一的点与之对应，并且这两点应对应同一解剖位置。)))((),(()(XTBXASTSS是相似性测度，配准的过程归结为寻求最佳空间变换的过程。公式表示:)(maxargˆTST由于空间变换包含多个参数，是一个多参数最优化问题，一般由迭代过程实现：TTTdTTdST)(λ一、图像配准原理二、空间变换图像A和B的配准就是寻找一种映射关系T：XA→XB，使得XA上的每一点在XB上都有唯一的点与之对应。这种映射关系表现为一组连续的空间变换，如整幅图像应用相同的空间变换，则称之为全局变换（globaltransformation），否则，称之为局部变换（localtransformation）。图像配准的基本变换二、空间变换二、空间变换——刚体变换刚体：是指物体内部任意两点间的距离保持不变。刚体变换：使得一幅图像中任意两点间的距离在变换前后保持不变。例如：人体的头部由坚硬的颅骨支撑，在处理时通常忽略头部皮肤的微小变形，将整个人脑看作是一个刚体。两幅图像之间的刚体变换可由一个刚体模型描述：TsRUVs是比例变换因子。',,）（zyxtttT是图像之间沿x，y，z方向上的平移量。R是3×3的旋转矩阵，满足约束条件：IRRRRtt1)det(R二、空间变换——刚体变换相对笛卡尔坐标系的三个坐标轴，R有三种不同的形式：xxxxxRcossin0sincos0001yyyyyRcos0sin010sin0cos1000cossin0sincoszzzzzRxθyθzθ分别表示围绕XYZ坐标轴的旋转角度二、空间变换——刚体变换二、空间变换-仿射变换仿射变换：将直线映射为直线，并保持平行性。TsRUV不满足：IRRRRtt1)det(R在笛卡儿坐标系下，二维仿射变换的旋转矩阵R’表示为：100'232221131211mmmmmmR1000'343332312423222114131211mmmmmmmmmmmmR三维：二、空间变换-仿射变换二、空间变换——投影变换投影变换：将直线映射为直线，但不保持平行性质。投影变换主要用于二维投影图像与三维体积图像的配准。二维投影变换按照下式将图像),(11yxA映射至图像),(22yxB：33132131131121112ayaxaayaxax33132131231221212ayaxaayaxayija是依赖于图像本身的常数。二、空间变换——非线性变换非线性变换是把直线变换为曲线。它反映的是图像中组织或器官的严重变形或位移。典型的非线性变换是多项式函数，如二次、三次函数及薄板样条函数。有时也使用指数函数。非线性变换多用于使解剖图谱变形来拟合图像数据或对有全局性形变的胸、腹部脏器图像的配准。二、空间变换——非线性变换1.二阶多项式变换20908210706052104103102101002zayzayaxzaxyaxazayaxaax21918211716152114113112111102zayzayaxzaxyaxazayaxaay22928212726252124123122121202zayzayaxzaxyaxazayaxaaz2.薄板样条变换|)(|)(1XPUWBAXXfinii其中：X是坐标向量，A与B定义一个仿射变换，U是径向基函数。可以表示为仿射变换与径向基函数的线性组合：二、空间变换——非线性变换在二维图像配准中：22log)(rrrU22yxr在三维图像配准中：||)(rrU222zyxr二、空间变换——非线性变换三、参数的优化搜索配准的几何变换参数根据求解方式可分成两类：一、根据获得的数据用联立方程组直接计算得到的，这一类完全限制在基于特征信息的配准应用中。二、根据参数空间的能量函数最优化搜索得到。在这一类中所有的配准都变成一个能量函数的极值求解问题。因此图像配准问题本质上是多参数优化问题，优化算法的选择至关重要。常用的优化算法:Powell法、梯度下降法、遗传算法、模拟退火法、下山单纯形法、Levenberg-Marquadrt法等。三、参数的优化搜索(一)Powell法Powell法是一种传统的确定性优化方法，又称为方向加速法，由M.J.D.Powell于1964年首先提出。基本含义是:对于n维极值问题，首先沿着n个坐标方向求极小，经多n次之后得到n个共轭方向，然后沿n个共轭方向求极小，经过多次迭代后便可求得极小值。三、参数的优化搜索Powell法的原理：对于某一问题，将其归结为求取某一目标函数的极小值。其中Y为一个向量：。)(YJJTnyyyY],,[21nnnnnnnDDDdddddddddD212122221112110],,[21iniiidddD设置一个满秩的步长矩阵：三、参数的优化搜索对于某一初始值TnyyyYY],,[002010,迭代过