医学图像配准与融合ppt课件

生物医学工程系医学影像图像处理1.图像配准：解决几幅图的对齐问题。图像配准是图像融合的前提。(a)CT图像(b)MRI图像(c)融合图像26.1概述一、医学图像配准的必要性基于多种原因，临床上通常需要对同一个病人进行多种模式或同一种模式的多次成像。即同时从几幅图像获得信息，进行综合分析。3描述生理形态的形态(结构)成像：描述人体功能或代谢的功能成像X-Ray;DSAX-CTMRI;MRAUltrasoundSPECTPETfMRIEEGMRS4对几幅不同的图象作定量分析，首先要将图像转换到一个公共的坐标框架内研究，解决图像的严格对齐问题，这就是图像的配准。5二、图像配准的概念医学图象配准：对于一幅医学图象寻求一种(或一系列)空间变换，使它与另一幅医学图象上的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两张匹配图象上有相同的空间位置。配准的结果应使两幅图象上所有的解剖点，或至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。6配准示意图7基于多种原因，临床上通常需要对同一个病人进行多种模式或同一种模式的多次成像。即同时从几幅图像获得信息，进行综合分析。使用同种成像设备在不同时间成像，可以观察病灶生长，对比手术前后的治疗效果等。人脑多种模式成像8不同MR加权图像间的配准图象序列的配准fMRI图象序列的配准胸、腹部脏器的图象配准同一部位，不同时间图像的配准同一对象(intra—subject)的图象配准(★)单模(monomodality)多模(multimodality)CT和MRI图象CT(或MRI)与SPECT(或PET)配准SPECT/ECT与CT/MRI/DSA配准9不同对象间(inter—subject)的图象配准将被试的图象与典型正常人相同部位的图象对比，以确定被试者是否正常。如果异常，也许还要与一些疾病的典型图象对比，确定患者是否属于同类106.2图像配准方法按对图像信息的利用情况分类基于图像灰度信息的方法基于时域的图像配准方法基于频域的图像配准方法基于特征的图像配准方法基于不变量描述子得图像配准方法基于轮廓的图像配准方法基于其他特征的图像配准方法11配准算法的一般步骤特征提取特征匹配估计变换模型图像重采样及变换126.2.1配准算法的一般步骤—特征提取特征提取是指分别提取两幅图像中共有的图像特征。这种特征是出现在两幅图像中对比例、旋转、平移等变换保持一致性的特征，如线交叉点、物体边缘角点、虚圆闭区域的中心等可提取的特征。特征包括：点、线和面三类。13--点特征是最常采用的一种图像特征，包括物体边缘点、角点、线交叉点等；根据各特征点的兴趣值将特征点分成几个等级。对不同的目的，特征点的提取应有所不同。--线特征是图像中明显的线段特征，如道路河流的边缘，目标的轮廓线等。线特征的提取一般分两步进行：首先采用某种算法提取出图像中明显的线段信息，然后利用限制条件筛选出满足条件的线段作为线特征；14主要配准方法点法（PointMethod）：分为内部点法与外部点法。标志点一旦确定，图象配准问题就归结为求解对应点集的刚体变换；对准了这些标志点，图象也就配准内部点：解剖标志点；耳蜗尖端拐点处；两个线性结构的交点；血管的分叉或相交处等；优点：对受试者友好；缺点：难以识别，需要一定的经验。外部点：在受试着颅骨嵌入的螺钉；在皮肤上作记号；其他在两幅图像都可以检测到的附加标记物：如充有硫酸铜的管子、玻璃珠、铬合金球、明胶球等。优点：容易识别；缺点：受试者在扫描装置内要求严格不动；15曲线法(CurveMethod)：边界曲线的匹配用人工方法在两幅配准图象中寻找对应的开曲线，再在两条开曲线局部曲率最佳拟合的线段用相同的采样率找出一组对应点对这组对应点使用点法匹配两幅图象16矩和主轴法(MomentandPrincipalAxesMethod)根据力学中物理质量分布的概念：先计算两幅图象象素点的质心和主轴；再通过平移和旋转使两幅图象的质心和主轴对齐，从而达到配准。缺点：对数据缺失敏感；对神经医生感兴趣的某些病案效果不佳。应用：粗配准；初步对齐；176.2.2配准算法的一般步骤—估计变换模型1.刚体变换模型刚体变换是平移、旋转与缩放的组合，适用于具有相同视角，但拍摄位置不同的来自同一传感器的两幅图像的配准。刚体变换模型下，若点，分别为参考图像和待配准图像中对应的两点，则它们之间满足以下关系：yxttyxyx1122.cossinsin-cos),(11yx),(22yx18同一刚体变换结果实现的两种方法：1、先旋转10度，后x轴平移4单位，再y轴平移9单位；2、先x轴平移2.3764单位，后y轴平移9.5579单位，再旋转10度；对于刚体变换无须关心其实际的旋转与平移顺序。19配准算法的一般步骤—估计变换模型2.仿射变换模型如果第一幅图像中的一条直线经过变换后，映射到第二幅图像上仍然为直线，且平行直线仍旧被映射为平行直线，这样的变换称为仿射变换。该变换保持直线间的平行关系，但由于引入了缩放参数，故它不能保持直线段的长度和角度，若点，分别为参考图像和待配准图像中对应的两点，则它们之间满足以下关系：),(11yx),(22yxyxttyxaaaayx111110010022.203.投影变换(Projectivetransformation)4.非线性变换(Nonlineartransformation)11''333231232221131211yxaaaaaaaaayx...'...'2021122001100020211220011000ybxybxbybxbbyyaxyaxayaxaax21投影变换线性变换的最一般形式直线经变换后仍然为直线，但平行性不再保持22血管瘤手术计划：三维血管模型与x射线血管造影图像在正交的、前后方向（右图）和侧向（左图）投影配准。23非线性变换非线性空间变换可以用于校正图象获取过程中由仪器引起的畸变，也可以用于图象配准常用的非线性变换模型有低阶多项式变形基于薄板样条函数的变换基于B样条的变换非线性变换多用于使解剖图谱变形来拟合图像数据或对有全局性形变的胸、腹部脏器图像的配准。246.2.3配准算法的一般步骤—图像重采样及变换在得到两幅图像间的变换参数后，要将输入图像做相应参数的变换，使之与参考图像处于同一坐标系下，则校正后的输入图像与参考图像可用作后续的图像融合、目标变化检测处理或图像镶嵌；涉及输入图像变换后所得点坐标不一定为整像素数，则应进行插值处理。常用的插值算法有最近邻域法、双线性插值法和立方卷积插值法。256.3图像配准举例刚性变换基准点极值点曲线266.3.1基于灰度信息的图像配准实现简单不能实现非线性变换,运算量大灰度的相似度量函数序列相似性检测函数交叉相关性相似性度量函数基于交互信息的相似性度量函数276.3.2基于特征的图像配准基准图像描述子集合匹配图像描述子集合特征提取特征提取特征匹配参数估计图像采样匹配结果286.3.3基于最大互信息的多模图象配准法互信息作为一种相似性测度应用于图象配准，主要是因为当两幅图象空间位置一致时，对应象素灰度的互信息最大配准原理：对于不同的两幅图象A和B，需要定义一个相似性测度并寻找一个空间变换关系，使得经过该空间变换后两幅图象间的相似性达到最大。也就是使A中的每一个点在图象B中都有唯一的点与之对应，并且这两个点对应同一个解剖位置。29相似性度量模板匹配法是在一幅影像中选取一个的影像窗口作模板，大小通常为5×5或7×7，然后通过相关函数的计算来找到它在搜索图中的坐标位置。设模板T放在搜索图S上平移，模板覆盖下的那块搜索图叫做子图Si,j，子图的中心点在S图中的坐标(i,j)，叫参考点。30用以下测度来衡量T和Si,j的相似程度：根据施瓦兹不等式，，并且在比值为常数时取极大值为1。但实际上两幅不同图像的P值介于0和1之间，很难达到理想值。根据经验取某个阈值P0，如果PP0，则匹配成功；PP0，则匹配失败。MmMnMmMnjiMmMnjinmTnmSnmTnmSP112112,11,)],([)],([),(),(10P),(),(,nmTnmSji31输入图像提取图像的边缘特征信息计算特征点集合的互信息归一化处理配准提取的特征图像优化搜索根据配准参数配准原图像采用基于Canny算子和小波提升变换的边缘检测方法采用归一化互信息为测度采用改进的鲍威尔算法，寻找最大归一化互信息的位置改进算法的流程图《东北大学》32仿真实验(a)CT图像(b)MRI图像(c)最大的互信息配准法(d)所提方法33CT/MRI图像各配准方法的配准参数及性能比较传统的互信息配准方法所提方法RMSE19.4315.32R0.92160.9812水平和垂直偏移量（9.028.52）（9.939.56）角度偏移量9.5979.96034DSA图像35脑部MRI的PD、T1w和T2w图像PDT1wT2w36心脏MRI的T1和T2图像T1T237MRA图像38CT与MRI图像的配准39同一病人在不同时间获取的MRI图像的配准40小结：对于医学图像，常用的方法是互信息，因为其特征不明显。对于模板匹配，常用的方法是互相关。416.4医学图象配准的评估1.体模软体模与硬体模2.准标法423.图谱(atlas)4.目测检验(visualinspection)43配准算法评价精度配准过程中很容易引入各种各样的误差,而且很难区分是由配准算法引起的,还是由图像间的固有差异引起的。在评估配准精度时,主要将误差分为3类:位置误差、匹配误差和对齐误差。位置误差是指由不精确检测引起的控制点坐标偏移。匹配误差则是指在候选控制点之间建立匹配关系时误匹配的控制点对数目。对齐误差是指配准过程中采用的变换模型和图像真实畸变(包括比例缩放、旋转、平移以及传感器影响等)之间的差异。44鲁棒性鲁棒性是指如果让输入图像有一点小的变动,配准算法还能收敛到相同的结果。自动化自动化指配准算法的自动化执行程度,包括人工、半自动、自动3种形式。45实时性只有满足实时性要求,配准结果才具有实际应用价值。实时性研究涉及资源需求和算法的复杂度。可靠性在实际应用中,要注意满足不同算法的前提约束条件。若给定算法所需要的输入条件,配准结果应该和理论上计算的一样,即算法具有较强的容错性。466.4图像融合实例476×0.98×0.98mm6×0.98×0.98mm5×0.57×0.57mm脑部星细胞瘤(astrocytoma)检查的原始图像CTT1wT2w5.1×3.38×3.38mmPET48PET图像与MR图像重叠显示绿色对应低水平糖代谢(glucosemetabolism)红色对应高水平糖代谢。低于某阈值的PET图像被略去。图中可以清晰看到肿瘤和瘤腺体。49利用CTA最大密度像与DSA融合标识动脉瘤50DSA图像的三维重建显示与融合51