光场成像技术

1光场成像技术1.前言光场是空间中同时包含位置和方向信息的四维光辐射场的参数化表示，光场数据的获取为计算成像提供了很多新的发展方向。传统成像方式在拍摄高速运动或者多主体较大间距物体时，容易出现失焦、跑焦现象。对于高速运动物体来说，想抓住精彩一瞬的同时对准焦是非常困难的。此外，要减少高速运动物体带来的运动模糊，如果减少曝光时间则导致图像太暗，增大孔径则造成景深太小，背景模糊。而对多主体目标物来说，焦点往往对准在中心物体上，其他目标由于景深过小往往看不清细节。调小光圈的方法在光线充足的情况下可以使用，但是在拍摄光线不足的室内条件下会带来曝光不足的问题。光场成像通过记录光辐射在传播过程中的四维位置和方向的信息，相比只记录二维的传统成像方式多出2个自由度，因而在图像重建过程中，能够获得更加丰富的图像信息。此外，还能通过数字重聚焦技术解决特殊场合图像的失焦、背景目标过多等问题;通过合成孔径技术实现“透视”监视;在与显微技术融合后，还能得到多视角大景深显微图像，以及重建后的三维立体图。2.光场成像的发展光场成像的雏形可以追溯到1903年Ives发明的双目视差显示系统中运用的针孔成像技术，通过在主透镜的像面处放置针孔面阵列，从而使原像面处的光辐射按角度进行重分布后记录在光探测器上，避免了角度信息的丢失。1908年，Lippman发明集成照相术(integralphotography，IP)，后来被广泛运用于三维全息成像．通过用微透镜阵列代替针孔面阵列，在底片上接收到有微小差别的一系列基元图像，消除了Ives装置中的弥散斑。Gershun在1936年提出光场的概念，将其定义为光辐射在空间各个位置向各个方向的传播［3］。他认为，到达空间不同点处的光辐射量连续变化，能够通过几何分析进而积分的方法来计算像面上每点的光辐射量。但是，由于计算量庞大，能够进行高次运算的计算机尚未出现，所以当时未能对其理论进行验证。1948年，Gabor利用2束相干光干涉记录下物体衍射未聚焦的波前，获得第一张全息图。如果把这张全息图看作是包含方向和位置信息的光辐射函数，那么这其实也是一张特殊的光场图像，而非传统只记录强度信息的二维图像。220世纪六七十年代，Okoshi、Dudnikov、Dudley、Montebello等学者对IP技术进行了不断的改进，微透镜阵列在成像方面的作用也得以凸显。随着计算机技术的不断发展和微透镜制作精度的提高，Adelson于1992年将光场理论成功运用到计算机视觉，并提出全光场理论(plenoptictheory)。光场理论的进一步完善归功于1996年Levoy的光场渲染理论(lightfieldrendering，LFR)，他将光场进行参数化表示，并提出计算成像公式。在此基础上，2005年，Ng发明了第一台手持式光场相机，其原理简单，使用方便。2006年，Levoy将LFR理论运用于显微成像，并研制出光场显微镜(lightfieldmicroscopy，LFM)，能够一次曝光得到多个视角多组焦平面图像，从而得到大景深的显微图片，并可进行三维重建。目前，随着光电技术及器件的发展和光场理论的进一步完善，光场成像正逐步渗透到航空拍摄、动画渲染、安全监视、科学仪器、摄影传媒、立体显示等各个领域，并朝着集成化、实用化、多元化的方向迈进。3.光场的定义及其获取方式3.1光场的定义图1.光场的四维参数化光场实质上就是空间中所有光线光辐射函数的总体。光线携带二维位置信息(u，v)和二维方向信息(θ，φ)在光场中传递。根据Levoy的光场渲染理论，空间中携带强度和方向信息的任意光线，都可以用2个平行平面来进行参数化表示(图1)，光线与这2个平面相交于2点，形成一个四维光场函数L(u，v，x，y)。对光场的不同理解可形成不同的光场获取方式。如果把光场看作是位置和角度信息的叠加，可以有比较简单的获取方式。比如，通过采用不同的观察视角和不同位置的照明来抓拍一系列照片的方式。但是这2种方法太慢，而且操作不方便。采用针孔成像的方式原理最简单，但是由于位置和角度之间不成线性关系，3计算复杂，因而应用也不广泛。3.2光场的获取方式目前获取光场的手段主要分为以下3种:1)微透镜阵列。这是最常用的光场获取方式，实现方式也最简单。在普通成像系统的一次像面处插入一个微透镜阵列，每个微透镜元记录的光线对应相同位置不同视角的场景图像，从而得到一个四维光场。微透镜阵列所在平面可看作图1中的u-v面，探测器面可看作x-y面。Adelson的全光场相机，Ng的手持光场相机，Levoy的光场显微镜(LFM)，Fife的光场“芯片”以及Georgiev的PlenopticCamera2.0等，都是采用微透镜阵列来获取四维光场数据，只是在u-v面和x-y面的处理上略有区别，从而实现不同的功能。其中，Adobe公司的光场相机，采用透镜和棱镜阵列获取光场数据，相比传统的微透镜阵列方式，可移植性更强。它将透镜和棱镜集成为一个光学元件，外接在普通相机上即可实现，具有较高的图像分辨率;但是由于镜头外接，会引入新的像差。2)相机阵列。它是指通过相机在空间的一定排布来同时抓取一系列视角略有差别的图像，从而重构出光场数据的方法。比如斯坦福大学的128相机阵列，采用不同空间排布，能够获得一些异于普通相机的特性，包括空间分辨率、动态范围、景深、帧速、光谱敏感性等。其中大尺度空间排布的相机阵列主要用于合成孔径成像实现“透视”监测，或通过拼接实现大视角全景成像，而紧密排布型则主要用于获取高性能的动态场景。还有Isaksen的单相机扫描系统，是通过相机在场景中特定移动获取不同视角的图像，它构建的初衷在于研究光场数据的动态参量化。此外，比较成功的样机还有MIT的64相机阵列，卡耐基－梅隆大学的“3DRoom”等。3)掩膜及其他。其共同点在于都是对相机的孔径做相应处理，都能重构出光场数据。典型的有Veeraraghavan的光场相机，通过在普通相机光路中插入一个掩膜实现。其获取的图像看似与普通相机类似，但经过变换到频域后发现，其频域呈规律性分布，与光场数据的频域特性类似，也能处理得到四维光场信息。它的优点在于掩膜是非折射元件，不管是从后期成像质量还是硬件方面，都比微透镜阵列更容易实现。可编程孔径相机插入的是一个特殊的遮光板，它可以通过编码来提高图像的空间分辨率和景深，也可以重构出四维光场。环形孔径相机，结构比较复杂，须做退卷积处理，可达到较高的图像分辨率。44.基于光场的数字重聚焦技术4.1计算成像原理光场相机的光学成像系统由3部分构成:主透镜系统、微透镜阵列和光电探测器件。主透镜系统相当于传统相机的物镜，在像面处放置微透镜阵列，探测器放置在微透镜的焦距处。成像原理为，物体上一点经过主透镜系统后聚焦于微透镜阵列平面，而后经单个微透镜分散出强度和方向分量，到达探测器的不同面元，此即该物点的光场信息。如果把微透镜看作成像器件，主透镜的主面与探测器阵列满足物象共轭关系。所以，主透镜系统的光瞳经过单个微透镜所成的像正好覆盖光电探测器的若干像素点。达到最大的角分辨率，需保证主透镜系统的像方F数与微透镜阵列的F数一致，否则会造成光场方向信息和成像目标空间分布的混叠．如图1，将相机的光学系统抽象成四维光场，其中u-v面是光学系统的主面，x-y面是探测器所在平面．LF(x，y，u，v)代表给定光线的光辐射量，下标F代表两平面之间的距离，像面上接受到的辐射量可表示为：（1）其中，θ为光线LF(x，y，u，v)与u-v面法线的夹角，A(u，v)为光瞳函数．假定x-y和u-v面无穷大，光瞳之外的光线LF(x，y，u，v)=0，引入近轴近似，将公式简化为：（2）通过数值积分近似求解，便可得到一幅数字图像。4.2数字重聚焦原理图2.数字重聚焦原理图5如图2，x-y面为重聚焦目标物所在的空间像平面，其接收到的光辐射量可表示为（3）其中，α=F'/F为变焦倍率。代入(2)式，定义切片算子β［f］(x)=f(βx)，重聚焦后的图像表达式为（4）根据傅里叶切片定理的推论，x-y面上得到的光辐射量是光场LF(x，y，u，v)的一个切片的投影积分。也就是说，通过一次曝光得到的4D光场信息，可用于重建不同焦距处的图像。文献指出，当对一幅图像进行多次重聚焦处理时，频域的方法比空域更加简便。将四维光场变换到频域为（5）经过切片处理后得到二维图像频谱:（6）逆变换后得到二维图像表达式:（7）图3为空域和频域2种算法及其复杂度示意。由于a的连续变化，空域和频域的计算复杂度分别集中在投影积分和二维切片阶段。可以看出，频域的O(n2)比空域的O(n4)，计算速度得到大大提高。图3.两种重聚焦算法及计算复杂度示意图6除了上面的数字重聚焦技术，当然还有很多基于光场的其他技术，这里就不再一一介绍。5.光场成像技术展望传统相机在成像的同时，限制了图片的重塑性;而光场成像则保留了这种可能，因为它记录的是包含位置和方向信息的四维数据。换句话说，即使不是图像的拍摄者，也能对视角、远近景，甚至是光线本身进行操纵，以获得更为满意的结果。比如机器视觉，机器是前台执行拍摄的主体，它所“看”到的东西也许并不是人所希望的，如果采用光场成像，便可以加入人对图像的理解，最终得到的多媒体信息才能更灵活化、多元化。而且，随着CPU运算速度的爆炸式增长和重构算法的不断改进，与计算机技术紧密联系在一起的光场成像技术的发展前景也将非常乐观。可以预见的应用范围很广:对普通摄影爱好者来说，可以通过数字重聚焦技术提高聚焦能力，摆脱失焦、跑焦困扰，增加对图片处理的灵活性;对于高速运动场景、多主体距离较大场景以及光线不足的室内拍摄，有其独特的优势;在安全及监控领域，通过合成孔径技术实现“透视”监控;在多媒体动画及电视广告领域，可以通过光场数据合成视角像来实现虚拟3D显示;通过对光场数据的反演，还能数字化地校正光学系统像差，降低透镜制作精度，大大降低光学系统设计和加工难度。目前获取光场的手段开始朝着2个极端方向发展:（1）大尺度的大规模相机阵列；（2）小尺度的光场显微镜。这就意味着能在更多的领域中运用光场成像技术，大到航空拍摄，小到微生物观测，甚至延伸到目前所有能运用到光学成像的领域。世界是三维的，而传统成像却一直在用二维的方法记录它，如果能把缺失的部分补全，那么，我们就可以看到一个更为真实的世界，不再因为“一叶障目，不见泰山”，这就是光场成像试图去实现的目标．然而，光场数据多出的2维信息是以牺牲一定的空间分辨率为代价的，二者之间存在一个折衷。现有光场相机普遍存在图像空间分辨率不能满足需求的问题，如果加大图像空间分辨率的同时，兼顾轴向分辨率，则会对光电探测器件提出更高要求。这是当前制约光场成像技术的一个瓶颈。如何在二者之间获得最优化分布，是今后研究的一个重点。此外，由于一次曝光获取的数据量巨大，对存储设备和处理器的容量和速度都有较高要求。因此，光场成像在技术实现、软硬件处理能力、商业化成本以及使用便捷性等方面还有亟待解决的问题。