医学图像配准

医学图像配准MedicalImageRegistration许向阳医学图像处理专题讨论2020年4月25日医学图像信息研究中心一、配准的基本概念二、配准的临床应用三、配准的核心框架四、医学图像配准的分类五、关键技术讨论内容提要一、配准的基本概念医学图像配准是指对于一幅医学图像寻求一种或者一系列的空间变换，使它与另一幅医学图像上的对应点达到空间上的一致。一致是指人体上的同一解剖点或者至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。保持不动的图像叫参考图像；做变换的图像称作浮动图像。一、Basicconceptionofregistration•Imageregistration,alsocalledimagematchingoralignment,isaprocesstoregisteroneimagetoothers,sothatthetransformationmatrixbetweentwoofthemaredeterminedsothattheyarecorrespondingeachotherinspace.•Imageregistrationistheprocessofestimatinganoptimaltransformationbetweentwoimages.一、配准的基本概念q=T(p)R：参考图像，F：浮动图像，T:变换T’=argmaxS(R,T(F))T一、配准的基本概念第二幅图像中少了一部分，原因可能是：成像设备，成像模式差别病变组织发生变化（如术前，术后）不同对象的成像一、配准的基本概念四种基本的变换•刚体变换•仿射变换•投影变换•弯曲变换二、配准的临床应用•两个时期的同种类图像比较病灶生长情况；治疗效果分析；动——静对比收缩——舒张对比发作——间歇对比对某一病人二、配准的临床应用•数字减影血管造影Digitalsubtractionangiography，DSA1977年．Nudelman成功地获得了第一张DSA影像脑血管疾病--MR.CT.DSA.与临床二、配准的临床应用LiQiang,etc,Improvedcontralateralsubtractionimagesbyuseofelasticmatchingtechnique,Med.Phys.27.8.,August2000(a)箭头所指为节结二、配准的临床应用于劲：基于特征的肝脏病理切片显微图像拼接（硕士论文）二、配准的临床应用•多模态图像融合疾病诊断放射治疗计划外科手术导航系统对某一病人•图像与物理世界配准2005年，北美核医学年会的最佳图像奖：三维立体图像融合图像二、配准的临床应用PET显示食道癌二、配准的临床应用罗述谦，医学图像处理与分析二、配准的临床应用二、配准的临床应用•图像与图谱的比较不同人被试图像与典型正常人相同部位的图像比较：——确定是否正常被试图像与一些疾病的典型图像对比：——确定患者是否同类Talairach脑图谱Ono脑沟回图谱哈佛全脑图谱二、配准的临床应用三维重建虚拟数字人三、配准的核心框架变换：Transform度量：Metric优化:Optimizer插值：InterpolatorRegistrationistreatedasanoptimizationproblemwiththegoaloffindingthespatialmappingthatwillbringthemovingimageintoalignmentwiththefixedimage.三、配准的核心框架3.1变换刚性变换仿射变换透视或投影变换非线性变换（弯曲变换）三、配准的核心框架3.2插值插值的原因：分辨率不同图像变换引起的像素点不对应三、配准的核心框架3.2插值插值方法：最近邻插值线性插值B样条插值WindowedSinc插值三、配准的核心框架3.3配准程度的度量可能是配准框架中最关键的部分选择度量方法与要解决的配准问题有关•Meansquares•Normalizedcorrelation•Meanreciprocalsquareddifference•MutualinformationbyViolaandWells•MutualinformationbyMattes•KullbackLieblerdistancemetric•Normalizedmutualinformation•Meansquareshistogram•Correlationcoefficienthistogram•CardinalityMatchmetric•KappaStatisticsmetric•GradientDifferencemetric三、配准的核心框架3.3配准程度的度量三、配准的核心框架3.4优化•Amoeba:Nelder-Meadedownhillsimplex.•ConjugateGradient:Fletcher-Reevesformoftheconjugategradientwithorwithoutpreconditioning.•GradientDescent:Advancesparametersinthedirectionofthegradientwherethestepsizeisgovernedbyalearningrate。三、配准的核心框架3.4优化•Powell法•下山单纯形法•Arent法•Levenberg-Marquadrt法•Newton-Raphson迭代法•随机搜索法•梯度下降法•遗传算法•模拟退火法•几何hash法•半穷尽搜索法四、医学图像配准的分类4.1分类的依据图像的主体图像的模态图像的客体(人体的部位)图像空间的维数配准所基于的图像信息变换的模型变换参数的确定方式配准方法的交互性四、医学图像配准的分类4.2图像的主体（Subject）IntraSubjectInterSubjectAtlas4.3图像的模态(Modalities)MonomodalMultimodalModalitytomodalPatienttomodality4.3图像的模态描述生理形态的解剖成像模式：X光、CT(ComputedTomography)MRI(MagneticResonanceImaging)US(UltraSound)MRA(MagneticResonanceAngiography)DSA(DigitalSubtractionAngiography)光纤内窥镜四、医学图像配准的分类描述人体功能或代谢功能的成像模式：SPECT(SinglePhotonEmissionComputedTomography，单光子发射断层扫描)PET(PositronEmissionTomography，正电子发射断层扫描)fMRI(functionalMRI，功能磁共振成像)EEG(Electro-EncephaloGraphy,脑电图)MEG(Magneto-EncephaloGraphy，脑磁图)光子内源成像四、医学图像配准的分类4.3图像的模态4.5图像的维度二维，三维，时间维4.4图像的客体（Object）Head(Brainorskull,Eye,Dental)Thorax(Entire,Caridac,Breast)Abdomen(General,Kidney,Liver)Limbs(General,Femur,Humerus,Hand)SpineandvertebratePelvisandperineum四、医学图像配准的分类无需图像信息4.6配准中使用的信息特征点侵入性的非侵入性的内部标志点四、医学图像配准的分类像素或体素特征曲线或曲面外部标志点特征空间蒋大介，实用神经外科手术学，第四章，定向手术华工超星图书，以“神经外科”搜索，72本书4.6配准中使用的信息——外部标志点立体框架陈炳桓，《立体定向放射神经外科学》，r刀4.6配准中使用的信息——外部标志点Brown–Roberts–Wells(BRW)框架Cosman-Roberts-Wells(CRW)框架Gill-Thomas-Cosman（GTC）框架该类框架主要用于神经外科手术的定位和导航以及放射治疗随着计算机技术的快速发展，无框架立体定向在图像引导的颅内手术中使用得更加广泛4.6配准中使用的信息——外部标志点韩锦华等，影像导航中的配准问题，国外医学耳鼻喉科学分册，2004.34.6配准中使用的信息——外部标志点外部标记物MatthewY.Wang,AnAutomaticTechniqueforFindingandLocalizingExternallyAttachedMarkersinCTandMRVolumeImagesoftheHead,IEEEtransactionsonBiomedicalEngineering.Vol.43,No.6,19964.6配准中使用的信息——外部标志点外部标记点周振环等，医学图像标志点的自动配准,中国生物医学工程学报，2003,No.54.6配准中使用的信息——外部标志点外部标记点4.6配准中使用的信息——外部标志点外部标志点它与图像本身无关。选用外部标志点的好处是简单快速，不需要复杂的优化算法，而且精度较高。只要图像中标志点能够被检测出来，任何模态的图像都能进行配准。确定外部标志点的位置要比确定内部标志点的位置容易得多，图像空间和物体空间的配准也很难用内部标志点来实现。4.6配准中使用的信息——外部标志点外部标志点会给病人带来很大不适；注入病人体内的外来元素往往对人体有些损害；完全无损的又很难达到满意的精度；这种方法不包括病人本身的相关图像信息，因而它的变换方式只限于刚性变换。4.6配准中使用的信息——内部标志点内部标志点解剖标志点(AnatomicLandmarks)几何极值点线的交点脐点(umbilicpoint)脊点􀂃灰度的极值点􀂃轮廓上曲率的极值点􀂃两个线形结构的交点􀂃某一封闭区域的质心形状特征点4.6配准中使用的信息——内部标志点IgorD.Grachev,etc,AMethodforAssessingtheAccuracyofIntersubjectRegistrationoftheHumanBrainUsingAnatomicLandmarks，NeuroImage9,250–268(1999)解剖标志点4.6配准中使用的信息——内部标志点解剖标志点4.6配准中使用的信息——内部标志点Detectedpointlandmarksina2DsagittalMRimageofahumanbrainKarlRohr，On3Ddifferentialoperatorsfordetectingpointlandmarks，ImageandVisionComputing15(1997)219-233角点4.6配准中使用的信息——内部标志点周永新，罗述谦，基于形状特征点最大互信息的医学图像配准，计算机辅助设计与图形学学报，Vol.14,No.7，2002形状特征点4.6配准中使用的信息——内部标志点两幅图像中选取出的控制点应当具有唯一性。对于图像的局部失真有较好的鲁棒性。由于变换的确定依赖于这些控制点，因而控制点的数量不能太少；同时若控制点的数量太多，匹配又会比较困难。所以控制点的数量选择是一个很重要的问题，它将影响到配准的质量与效率。内部控制点的选取原则4.6配准中使用的信息——内部标志点选取内部控制点的好处是很灵活，从理论上说适用于任何模态的图像，而且对病人完全友好。控制点一般用来确定刚性变换或仿射变换，如果控制点数量足够多，也可用来确定其他一些更复杂的变换。这种方法的一个缺点是控制点的确定往往需要人工干预，很难实现完全自动。内部控制点的优缺点4.6配准中使用的信息——表面先进行图像分割，提取轮廓曲线、物体表面等内部特征。图像配准简化为曲线或曲面匹配。变换的形式既可以是刚体变换，也可以是形变变换最大缺点是配准精度