Light Field camera 光场相机原理

中科院环境光学重点实验室光场相机原理田勇志KeylaboratoryKeylaboratoryKeyLab中科院安徽光学精密机械研究所背景知识-艾里斑22.110DdF如果此圆形足够小，肉眼依然可被视为点的成像。这个可以被接受的最大直径被称为容许弥散圆直径δ瑞利判据：当一个艾里斑的边缘正好与另一个艾里斑中心重合时，这两个艾里斑刚好能被区分开。22.1dDFnumberfd为像素尺寸D为光圈直径KeylaboratoryKeylaboratoryKeyLab中科院安徽光学精密机械研究所背景知识-景深在对焦时，通过镜头将在焦平面上清晰成像，而对焦点的前景和后景也在焦平面成像，只要它们成像的弥散圆等于或小于容许弥散圆直径，我们将认为是清晰的，这样影像就有一个的清晰的区间，这就是景深(1)、镜头光圈：光圈越大，景深越小；光圈越小，景深越大；(2)、镜头焦距：镜头焦距越长，景深越小；焦距越短，景深越大；(3)、拍摄距离：距离越远，景深越大；距离越近，景深越小。KeylaboratoryKeylaboratoryKeyLab中科院安徽光学精密机械研究所光圈快门光圈越大(F值越小),通过的光亮越多，景深越小，突出主体，要求对焦准确快门越快，进来的光亮就越少，快门越慢就进光更多KeylaboratoryKeylaboratoryKeyLab中科院安徽光学精密机械研究所传统成像的缺点传统相机，获取大的景深，需要减小光圈，那么每次曝光进入的光子数有限，信噪比降低，出现噪点高速物体，需要提高快门，为了平衡信噪比，需要大光圈，景深小，对焦难，背景模糊黑暗的环境，为了平衡信噪比，需要延长曝光时间，手的抖动造成图像模糊，需要三脚架KeylaboratoryKeylaboratoryKeyLab中科院安徽光学精密机械研究所光场理论的发展1936年，Gershun提出光场概念，光场就是光辐射在空间各个位置各个方向的传播1992年，Adelson将光场理论应用到计算机视觉，提出全光场提论（plenoptictheory）1996年，Levoy提出光场渲染理论（lightfieldrendering），将光场进行参数化，并提出了成像公式2005年，Ng发明第一台手持式光场相机2006年，Levoy研制出光场显微镜KeylaboratoryKeylaboratoryKeyLab中科院安徽光学精密机械研究所获取光场手段1.微透镜阵列普通成像技术的一次像面处加入一个微透镜阵列，每个微透镜记录的光线对应相同位置不同视角的场景图像。2.相机阵列它是指通过相机在空间的一定排布来同时抓取一系列视角略有差别的图像，从而重新勾出光场数据的方法。3.掩膜及其他共同点都是对相机的孔径做相应处理KeylaboratoryKeylaboratoryKeyLab中科院安徽光学精密机械研究所相机组成光场相机包换一个主镜头，一个微透镜阵列和一个数字图像传感器KeylaboratoryKeylaboratoryKeyLab中科院安徽光学精密机械研究所光场四维函数根据Levoy的光场渲染理论，空间中携带强度和方向信息的任意光线，都可以用2个平行的平面参数化表示，光线与两个平面相交于两点，形成四维函数L(u,v,x,y)KeylaboratoryKeylaboratoryKeyLab中科院安徽光学精密机械研究所传统相机所有圆锥光线叠加形成图像一个像素值对于每一个空间的像素X，u的变化都覆盖了全镜头保留了空间分辨率x，但没有记录方向值uKeylaboratoryKeylaboratoryKeyLab中科院安徽光学精密机械研究所非焦平面成像不同距离的景物成像，但我们固定一个x成像平面当焦点远于x成像面，那么斜率为正当焦点近于x成像面，那么斜率为负X的变化是随u的变化成线性的变化的KeylaboratoryKeylaboratoryKeyLab中科院安徽光学精密机械研究所光场记录光场相机的一次采样过程图中网格列的宽度是微透镜的宽度收集方向分辨率导致最后图像分辨率降低，最大的分辨率为微透镜的个数灰色的图像传感器像元加起来，我们就可以计算出在光学焦平面图像中的微镜头尺度大小像元的值KeylaboratoryKeylaboratoryKeyLab中科院安徽光学精密机械研究所光场记录-原始光场图像原始图像是由一系列斑点构成，每个斑点都是微透镜的成像，圆的图像是因为主镜头是圆的原始光场成像是一个（x,y）成像网格，每副图像表明到达成像面某个微透镜的光线来自主镜头不同的（u,v）位置KeylaboratoryKeylaboratoryKeyLab中科院安徽光学精密机械研究所光场记录-子孔径图像因为孔径是有限的，所以每个微透镜都有一定的视场，不同微透镜之间有一定的视差视差就是从有一定距离的两个点上观察同一个目标所产生的方向差异KeylaboratoryKeylaboratoryKeyLab中科院安徽光学精密机械研究所计算成像公式dudvvuyxLFyxEFF42cos,,,1,经典的辐射理论表面，在像平面上的一点的辐射来自于镜头上所有辐射的权重积分vuyxLF,,,是距离目标平面外F距离的光场参数cosΘ是由于光学渐晕效应的衰减因子vuvyvuxuLvuyxLFF,,,),,,(vuyvxuLF,,11,11FF把（x,y,u,v)(X’,y’,u,v)那么我们可以得到任意平面上的点成像函数dudvvuyvxuLFyxEFF,,11,111,22，KeylaboratoryKeylaboratoryKeyLab中科院安徽光学精密机械研究所数字重聚焦1傅里叶切片定理傅里叶切片定理的含义是平行投影的一维傅里叶变换等同于原始物体的二维傅里叶变换的一个切片。将已知投影数据通过一个简单的二维物理也反变换可以得到物体界面的一个估计。投影定义KeylaboratoryKeylaboratoryKeyLab中科院安徽光学精密机械研究所数字重聚焦2平面（x’,y’)NTTNMNMMFBBSBLF傅里叶切片定理BLFFFP4222221dudvvuyvxuLFyxLFF,,11,111),]([22FFLBLFLP422214422221FBBSFFPTT空间域和频率转换关系KeylaboratoryKeylaboratoryKeyLab中科院安徽光学精密机械研究所数字重聚焦3KeylaboratoryKeylaboratoryKeyLab中科院安徽光学精密机械研究所聚焦结果KeylaboratoryKeylaboratoryKeyLab中科院安徽光学精密机械研究所分辨率镜头衍射提高锐度方法：让微透镜在主镜头的焦面上聚焦就是微透镜和图像传感器间距为焦距扩大微透镜直径希望每个微镜头下包含更多传感器单元主镜头光圈值必须与微透镜尺度匹配微透镜f/4艾里斑的尺寸决定了空间分辨率经验表明，最大光圈数f/n，那么像平面上衍射极限分辨尺度n微米如果换成微透镜，微透镜尺寸是20微米，每个下面有十个像素，那么空间分辨率是1800×1200，方向分辨率是10×10假设镜头和微透镜是f/2和衍射极限光圈35mm胶片，尺寸24mm×36mm光圈数表明衍射极限分辨率大约是2微米，那么传感器像素是18000×12000KeylaboratoryKeylaboratoryKeyLab中科院安徽光学精密机械研究所空间分辨率和方向分辨率A图微透镜在主镜头焦平面上，传感器与微透镜间距为微透镜焦距最大的方向分辨率C图微镜头和传感器重合最大的空间分辨率B图微透镜和传感器间距为焦距的一半KeylaboratoryKeylaboratoryKeyLab中科院安徽光学精密机械研究所最大分辨率fFfFFF111opt主透镜与微透镜最佳位置10图b和图c中，光线汇聚最厉害的地方是最大分辨率的重聚焦面FFopt说明微透镜与主透镜距离小于焦距KeylaboratoryKeylaboratoryKeyLab中科院安徽光学精密机械研究所基于光场合成光场技术合成孔径成像的原理，当瞳孔的孔径远大于障碍物的空间尺度时，从目标物体上发出的光线能够很容易地绕过障碍物进入人眼。如果孔径足够大，那么，就可以透过一些常见的障碍物而被成被掩盖目标的像。如果有一障碍物点在景深范围之外的空间平面上，则在相面上形成弥散圆而失去遮挡效果孔径再变大，景深非常小，只有在焦平面附近的成像清晰，期待都是弥散，不足遮挡物体成像KeylaboratoryKeylaboratoryKeyLab中科院安徽光学精密机械研究所基于光场合成光场技术由于景深非常小，障碍物在合成孔径图像上非常模糊，有类似于“透视”的功效。KeylaboratoryKeylaboratoryKeyLab中科院安徽光学精密机械研究所基于光场的显微成像传统光学显微镜和LFM对比图传统显微镜景深LMF景深用一个16×/0.4Na的非浸液物镜计算传统显微镜景深为3.3μm，而LFM的景深为161.6μm解决了传统显微镜：1.从正投射角度观察，无法观察一定空间结构的微小物体2.高分辨率和大数值孔径条件下，景深非常小，容易丢失目标KeylaboratoryKeylaboratoryKeyLab中科院安徽光学精密机械研究所总结传统相机光场相机景深小大精确对焦需要不需要空间分辨率高中轴向分辨率无有数据量大巨大后期处理自主性小自主性大KeylaboratoryKeylaboratoryKeyLab中科院安徽光学精密机械研究所谢谢，请各位老师批评指正