天文摄影中的预处理

游戏猫笔记之三-----天文摄影中的预处理从最开始拍星的时候我们就被不知道从哪儿转来的文章教导：你需要拍亮场，暗场，偏置场，平场，暗平场！然后好多人(我也是这样)当初并不以为然，觉得少拍了一些校准场(暗平偏的统称)问题都不大呢，结果拍完回家一处理瞬间傻眼。经过几次碰壁之后才明白校准场的重要性。新手大多是这么走过来的，所以在玩深空天体摄影的时候大多数人都有一个磕磕绊绊的熟悉经历。所谓预处理就是包含了平场，暗场，偏置场和暗平场四类校准帧的扣除过程，以及亮场和平场的归一化过程。这篇笔记适合对天文摄影有一定了解的同学观看（废话前两篇也不是这样的吗）在说图像预处理之前要补一些科普知识：关于噪音和一些术语天文摄影说到底是在跟各种各样的噪音作战，但是在拍星的时候，我们在单反摄影里惯用的那套降噪方案作用并不大。本质上是因为风光摄影中，相机接收到的光强是远大于噪音的，而天文摄影中，光强与噪音的数量级相当，甚至有的时候还要我们把极微弱的信号从噪音中提取出来。所以我们需要一个叫做图像预处理的过程，借助它就可以把噪音从根本上最大程度的削弱。对噪音最简单的划分，就是把它分为两种：随机噪声和固定噪声。随机噪声指的是在不同的帧中分布不一致的噪声。这种噪声大致有两个来源：CCD的读出噪声和光子噪声。光子噪声在《星野摄影》里讲过：由于光的量子特性，图像中一个像素点接收到的光子的均值是一个常数比如说50个，但在它可能在第一帧里是48个，第二帧是49个，第三帧50个，第四帧52个，第五帧51个.....光的量子性引起的这个帧间的亮度差异，就是光噪声。注意，光噪声有两个来源，天体的光线暗弱，不确定性很明显，会引起光子噪声；而大气辉光和天光也会让CCD接收到的信号涨落增加，这也是一种随机噪声，大家通常管他叫光污染的。读出噪声一般认为是高斯的，而光子噪声是泊松的接下来说说暗电流。暗电流是这些噪音里最特殊的一种，是热涨落导致的，并且随着时间的增加而增加。暗电流直接决定了一个相机能拍到多暗的(极限星等)。下面重新纠正几个概念：亮帧，暗帧和信噪比这里我们要重新认识什么叫亮帧什么叫暗帧：定义有光子进入的帧叫亮帧，没有光子进入的叫暗帧所以亮帧包含了：天体照片【亮场】，以及平场所以暗帧包含了：偏置，暗场，暗平场。记住，平场是亮帧的一种。下面谈谈信噪比。不要以为只有传统意义上的亮场才有信噪比。实际上，任何一个校准帧都有信噪比。其中的“信”就是我们叠加要保留下来的东西，“噪”就是我们需要削弱的东西。对于一台业余天文级的制冷CCD相机而言，各种帧里包含的内容如下：偏置场：包含三部分，过扫区，偏置图形，读出噪音暗场：包含偏置场和暗电流亮场：包含光子信号，光子噪音，和暗场先忽视过扫区的问题，Overscan校正我们留在最后说。现在我们来给整个校准过程来一个概括（好多人也俗称叠加的过程），好让大家了解图像的校准是如何一步步完成的。约定：偏置用B表示，暗场用D表示，亮场用L表示，平场用F表示。图像做四种运算：加减乘除，全都是把两张图像的每一个相应位置的像素值做加减乘除。第一步需要先叠出masterbias。偏置帧越多越好，一般建议50张或者更多。因为这样可以减弱偏置里的读出噪音，以后做减法的时候读出噪音的影响就会尽可能的小。注意：由于两个信号相减之后，噪音是增加的(没错是增加的，两个信号相减，方差相加)，所以校准帧一定要多拍，争取把每个被减掉的帧的读出噪音降到最低。那种走走形式只有四五张的偏置，还不如不拍。12...NBBBmasterbiasN第二步我们把每一张暗场减去一个主偏置masterbias，然后做平均数。(这仅仅是最初级的做法，让大家看明白原理，实际情况下极少极少用到平均值)12...NDmasterbiasDmasterbiasDmasterbiasmasterdarkN由于这里的B1..BN和D1...DN都采用相同的权重因子1，我们也可以用12...NDDDmasterdarkmasterbiasN来作为相机的“纯暗电流”注意：在MDL里的主暗场是上面这个形式。而PI里的主暗场是不减去masterbias的。两个软件做校准的时候有点差异。第三步是两种亮帧(L和F)的校准。1122....FFLLTTcFmasterbiasmasterdarkcFmasterbiasmasterdarkTTmasterflatN这个公式看起来很长，我需要解释一下首先是TFTL两个变量，是平场和亮场的时间。1）由于暗电流是随着时间均匀增加的，比如说每秒钟0.002个电子。但是暗电流有个起始值，它不等于0。所以一旦暗电流减去了偏置，它的亮度就真的与拍摄时间成正比了。偏置的作用就在此体现出来。2）平场里包含暗电流，但远没有暗场里那么多。有的软件例如DSS会给你一个暗平场校准的选项。着需要你去自己去拍暗平场。但现在越来越多的高级软件不再具有这个选项，原因在于400s的暗场只要乘以1/100就可以去校准4s平场里的暗电流了--当然前提还是偏置要减对。3）c1c2...这些系数是平场的权重。叠加的时候权重是每一个亮帧都必须有的。由于拍摄平场的时候你有可能是对着天光去拍，但天光是会变化的。叠加的时候必须加上权重才能保证叠出来的平场信噪比最高。这个权重的计算主要是基于噪音的估计，下面说的亮帧也一样最终，masterflat里包含的信息只剩下：四角减光比，灰尘，和像素间的灵敏度差异第四步亮帧的最终校准112212...LmasterbiasmasterdarkLmasterbiasmasterdarkkkmasterflatmasterflatmasterlightN还是先解释这里的参数。K1k2.....这些跟前面平场校准的时候一样，每一张亮场的权重系数这里面比上边一个公式多出来的是sigma1sigma2.....就是标在masterdark前面的这个系数，这个被称作暗电流的优化系数从哪儿来的优化以及为何要优化？因为扣暗场时未必都如你所愿，每一次做减法都能减得很干净。L-D的过程中，理想情况下是L-D就直接把所有的暗电流给去掉了，但实际上并不这样，原因有很多，例如温度的改变（制冷CCD也会有一些温度变化，而偏置里的overscan还会受到外界环境温度影响）。方法还是噪声估计，大致的思路是：我先给一个优化系数sigma的初始值，比如0.5，然后用L-B-0.5*masterdark，分析噪音，然后再试试sigma=0.55，0.6，0.65....一直找到做完减法之后噪音最低的那个sigma值，作为最后的校准系数。这就是darkoptimization的具体思路。当然操作是由具体的软件来负责的。事实上，平场在减去暗平场的时候也需要这样一个优化步骤。只是它的效果并没有亮场的这么明显。毕竟平场属于高信噪比的帧，每一张平场的亮度都有30000之多，而亮场相比之下就暗的可怜了。这就好比你拍风光的时候从来不纠结校准问题，道理是一样的。以上的三步，是图像校准的一个整体框架。这个框架还需要不断的完善。需要完善的包括：A）纯粹的做平均值是不合适的，因为总会有一些帧的某些像素偏离平均值好远好远，例如亮场里的飞机和偏置中随机出现的干扰。B）一块CCD上会有热点和死点。那些数值特别高的孤立热噪（形象地称作为“椒盐噪声”）去做了减法以后，后果就是根本无法还原出这个点上的信号来。因为怎么减都是0C）彩色相机的校准尤其是暗电流的优化，需要特殊留心，因为bayerpattern带来的网格会被软件计算入噪声里，但实际上它不是噪声。D）亮场和平场的叠加时，由于每一张的亮度都不一样，每一张的信噪比也不一样，所以需要权重。但在决定权重之前还需要把每一个亮帧的亮度统一换算为一个亮度，这个过程叫normalization归一化。归一化的方法很多，有加减法有乘除法。不做归一化和加权叠加的话，片子就可能被一张或者几张信噪比低的帧给毁掉。这三点会在下面介绍具体操作的时候详细说明。下面给拍星的同学几句忠告：1）所有校准帧里，偏置是最不可以忽略的东西，而且是必须当场拍摄的。不管你用什么相机，冷冻CCD也好单反也罢，偏置必须当场拍摄2）偏置拍的越多越好，拍得越多，信噪比就越高，里面读出噪音的成分就变低了而偏置图案的成分就增高了。这对于处理图像而言非常有利。最先减去的偏置帧，如果里面噪音很高的话，做了减法减出来的图像噪音会变大，再减了dark之后还会变大。3）校准做的多认真，决定了你的片子能在后续的处理中走多远。4）暗场和平场都可以回家里补，怎么补我们在后面说。图像校准的简易实践操作：图像的校准总归是需要应用到实践中的，下面我们看看主流的两大软件是如何进行天文照片的校准的。首先是使用pixinsight做图像的校准。自己用了一段时间的pixinsight，游戏猫觉得，无论你再怎么鼓吹各类奇葩的后期以及千奇百怪的xxx大法，有一个问题你始终无法回避：PI依旧是现在业余天文摄影里最“珍惜信噪比”的软件。PI里最简单的预处理方案是他给你提供的脚本里的“batchpreprocessing”。但是在进入bathc之前需要先建立一个processicon(具体什么是icon翻阅前两篇笔记)首先上面的问题A.孤立热噪点怎么办？PI和MDL里都有一套很完整的解决方法，pix里叫cosmetriccorrection。在这里选中一张masterdark，实际上也可以是一张单独的dark也没什么问题。如果是彩色相机记得勾选上CFA，ColorFilterArray。表示这是一个带有CFA的暗场。然后像图中这样设置，表示在暗场里，与均值相差超过3倍标准差的像素，都会视为无效像素，由周围的像素的数值插值得出。这个cosmetric是作用在所有的校准帧和亮帧上的。然后我们建立一个icon，暂时叫process01紧接着调出batchpreprocessing脚本，然后依次导入bias，dark，flat，light。和DSS一样是扔进去倒出来，这里需要强调一个rejectionalgorithm：排异算法。由于暗电流里会有宇宙射线，亮场里有飞机，偏置里也可能会有干扰，所以我们必须做排异。也是把那些偏离平均值3倍标准差或者四倍标准差的像素给踢掉。实际上3倍标准差的偏离，在高斯分布里就只有1%的像素会有如此程度的偏离了。排掉了这些奇异的像素，才能得到更纯净的偏置和暗场。Bias，dark，flat，light在张数比较多的时候，建议采用winsorizedsigmaclipping，sigmalow和sigmahigh分别表示低于或者高于均值多少倍的标准差的像素会被排除。Registrationreferenceimage，你选一张用于对齐的亮场，outputdirectory，输出文件夹现在来看亮场。Cosmetriccorrection要选中，icon就选刚才那个process01。其他的选项暂时使用默认值。Batch的一大功能是让大家体验一下pixinsight的校准流程。校准成功以后打开OutputDirectory(就是你刚才填的那个文件夹的名字)/master/会发现一个叫Light-Binning1-300s.fit这种名字的文件，没错他就是最后叠好的亮场。然后继续翻，你的这个outputdirectory应该具有这样的结构。图中凡是用中文标出的表示文件，英文标出的表示文件夹图像预处理的MDL操作MDL的操作与PI略有不同，MDL需要事先生成所有的校准帧。其中MDL的主暗场一定是减过偏置的。首先进入MDL，调出process-setcalibration，出现一个这样的窗口MDL的校准是有点讲究的，如果是MDL/skyx/SGP/maxpilot甚至tinyastro拍摄的片子，那么你大可以把所有的照片无论是亮场还是暗场还是其他的什么场，一股脑的倒进同一个文Outputdirectorymastercalibratedregistered叠好的L主暗场主平