搜索
8专题第 8 卷 第 8 期 2012 年 8 月戴琼海 马晨光 曹 汛清华大学透过全光函数看计算摄影发展引言数字成像与摄影技术通过光学系统与光传感器对所拍摄场景中的光线进行捕捉，将场景中不同位置的光线信息记录在二维平面上，这一过程实现了对于复杂场景中部分信息的记录。但是由于受到现有的采集设备与采集方法的限制，这种记录方式只限于获得原始高维场景信息的一个低维度投影记录。为了突破这一限制，计算摄影学的研究者希望通过引入对成像过程的计算来增强和扩展数字摄影系统的成像能力，从而克服传统相机的不足和局限性，实现对更高维度视觉信息的全面获取。这些研究的根本目的在于设计新型采集系统和采集机制，完成对于真实世界中复杂高维场景信息的更为高效的感知。从真实的物理场景出发，我们可以直观地了解关键词：计算摄影学 全光函数 维度拓展场景视觉信息的高维特性。当我们用眼睛或者相机捕获一个场景点发出或反射的光线时，需要关注以下一些信息：我们看到的是哪个点？是从哪个方向或角度看到的？它是什么颜色？是在什么时候看到的？如图1所示，即使是最简单的一束光线，也包含着丰富的信息。视觉特征有着很高的维度。全光函数正是对于场景高维视觉信息的一种有效表达的方式。透过全光函数，我们可以清晰地看到传统成像手段对于场景信息降维采集的过程，同时我们也可以看到计算摄影学在传统相机基础上，在空间、视角、光谱、时间等维度信息采集上取得的突破。本文将从全光函数出发，对于计算摄影学研究的方向、方法与目的进行介绍。全光函数1991年美国麻省理工学院的阿德尔森（Adel-son）提出了七维全光函数L(Vx,Vy,Vz,θ,θϕ、,λ,t)[1]，试图记录场景的全部视觉信息。其中各个分量的含义与引言所述的场景点的位置、角度等信息不同，它们是从观察者的位置和角度进行定义的，如图2所示。其中Vx、Vy、Vz代表视点即观察者的空间位置，θϕ、代表场景点相对于视点的角度，λ代表所采集光线的光谱信息，而t则代表视点对光线进行捕获的时刻。从这一定义出发，如果能对全光函数进行完整采集，对于场景我们就拥有了全部的视觉信息。但图1 高维场景信息的示意性说明入射光线位置9第 8 卷 第 8 期 2012 年 8 月是我们也发现，全光函数包含三维空间信息、二维角度信息、一维时间信息和一维光谱信息，其数据规模过于庞大，无论是采集还是存储都面临较大的困难。但高维的全光函数并没有吓退研究者，虽然目前数字摄影基本上是在高维场景信号（七维全光函数）的二维采样子空间上进行采集，角度信息丢失，场景深度固定，RGB光谱信息采样的局限（仅是全谱的三个取样点）、曝光时间内场景信息积分耦合等问题也随之产生，但研究者一直在努力改进采集系统的设计和采集方法，通过计算摄影学的方法争取在不同的维度上获得突破。因此，通过在摄影学中引入“计算”的手段以实现高维信息的采集与捕获是计算摄影学的本质。目前，经典成像模型下传统采集设备及技术已经趋于成熟，而新型成像技术的研究正方兴未艾，如何实现更高效的采集技术，获得采集维度方面的突破性进展，对于研究者而言，既是机遇也是挑战。全光函数的空间维拓展计算摄影学在全光函数的空间维拓展主要包括超高空间分辨率采集与场景深度信息采集两方面的工作。其中超高空间分辨率采集工作是指利用计算手段获得更高的空间分辨率。众所周知，现在市场上常见的数码相机或者手机端的摄像头，已经能够实现百万至千万像素级的成像，而超高空间分辨率的采集工作旨在采集亿万像素级的高质量图像。典型工作如微软研究院在2007年实现的亿万像素级成像工作[2]，其采集到的图像场景经过几次放大后仍能够清晰地分辨景物，如图3所示。目前，超高分辨率采集的工作大多采用单相机精确扫描、多相机拍摄标定融合的方法，也有一些较新型的系统基于特殊设计的光学结构实现。传统数字成像是对场景信息的二维采集，造成场景的深度信息丢失。对于场景深度信息采集的研究由来已久，能够对深度进行采集的深度相机正在得到广泛的研究。目前主要的技术手段是基于结构光的方法，这种技术将具有特定模式的光线（结构光）打到场景中，再对场景进行采集。由于场景中不同的深度会对光线模式造成不同程度的改变，因此通过对采集得到的改变后的结构光模式进行处理就可以恢复出场景不同位置的深度信息。如微软Xbox360中的Kinect深度相机，就是采用这样的方法获得了深度感知的能力，只不过其结构光位于红外波段，无法被肉眼感知。其采集得到的深度结果如图4所示。全光函数的时间维拓展现有的相机既能对静态场景进行单次拍摄，也能对动态场景进行连续采集。相机对场景进行拍摄图2 全光函数说明示意图图3 2007年微软研究院亿万像素级相机成像结果[2]10专题第 8 卷 第 8 期 2012 年 8 月是通过其光传感器在快门打开的时间内对光线进行积分量化得到的。这一积分时间的存在带来了两方面的问题：首先是摄影采集速度受限，即连续采集的两帧之间固有的时间间隔限制了所能采集到的视频的帧率；其次是采集得到的图像存在运动模糊，即在快门打开过程中，无论是场景中的运动还是相机自身的抖动都会造成图像不同程度的模糊。计算摄影学对于现有视觉采集技术在时间维度的拓展包括两个方面：（1）在不依赖新型传感器的基础上设计新型的系统实现高速的场景视频采集；（2）研究探索更先进的技术和算法消去成像运动模糊。实现高速采集系统的代表性方法如威尔伯恩（Wilburn）等实现的密集相机阵列[5]，使用多相机间差曝光，精确控制不同相机的曝光时间，并将相机阵列采集得到的数据看作高速场景在时间上进行耦合的结果，进而通过在时间维度上的解耦实现对于场景的超速视频采集。相机去模糊则是一个传统问题，方法大多通过模糊核估计、反卷积、盲反卷积等办法从图像端尝试解决。但是欠定性使去模糊问题一直无法得到理想结果。计算摄影学研究从采集端为这一问题的解决带来了新的思路，其中典型的一种方法如2006年拉斯卡（Raskar）的基于编码光圈的去模糊方法[9]，改变了传统相机快门的开关方式，不再让其在曝光时间内保持打开，而是使相机快门在曝光时间内按设计好的模式打开与关闭，通过这样匠心独运的技术，使采集到的图像在去模糊算法中避免了反卷积过程中的频域零点问题，进而有效地提升了图像去模糊的效果。这种方法不仅给去模糊工作带来了进展，解决问题的思路也广泛地启发了其他相关工作。全光函数的视角维拓展1995年美国北卡罗来纳大学的麦克米兰（Mc-Millan）将全光函数的维度降为五维，忽略了全光函数的波长和时间维。1996年美国斯坦福大学图4 深度相机采集结果（彩色图像和深度图像）图5 (a)阿德尔森的光场相机[3]；(b)勒沃伊于1996年实现的真实场景光场采集系统和威尔伯恩提出的密集摄像机阵列；(c)基于微透镜阵列采集策略的光场相机[6]；(d)勒沃伊等人2006年设计的光场显微镜示意图[7]。透镜阵列选择性磨砂玻璃中继透镜透镜阵列微透镜阵列主透镜光传感器物体（a）（c）（b）（d）四维自由度云台相机台灯11第 8 卷 第 8 期 2012 年 8 月的勒沃伊（Levoy）和微软研究院的高特乐（Gortler）分别忽略了全光函数中的波长和时间维，并且假定沿光线方向的辐射度不变，去除了三维空间中Z维度的冗余，提出了两个平行平面参数化的四维光场函数。光场函数则主要包含视觉世界中的视角维度信息，从计算摄影学的角度出发，如果能够实现对场景的光场采集，那么也就相当于实现了全光函数的视角维拓展。从全光函数引出的这一光场表示理论为研究真实场景光场信息采集提供了理论基础。相关的研究也从不同角度提出了各种光场采集机制，并搭建了各具特色的光场采集系统。1992年美国麻省理工学院的阿德尔森提出了基于单镜头实现立体视觉的光场相机设计原型[3]，通过在镜头的不同区域成像实现角度信息的获取，如图5（a）所示。1996年美国斯坦福大学的勒沃伊实现了真实场景4个自由度上的光场采集系统[4]，实现了基于图像的四维光场表示。2005年美国斯坦福大学的威尔伯恩提出并研制了密集摄像机阵列对真实场景实现高质量、密集视角及空间的光场信息采集，如图5（b）所示。此外，美国斯坦福大学的吴仁（RenNg）和勒沃伊于2005年和2006年分别提出了基于微透镜阵列采集策略的光场相机[6]和光场显微镜采集系统[7]，如图5（c）（d）所示。其中基于微透镜阵列的光场相机也做出了实际的产品——以先拍摄后聚焦为亮点的Lytro光场相机，挖掘出了巨大的市场潜力。全光函数的光谱维拓展全光函数中很重要的一个维度是光波长λ。从早期的黑白相机到现在的彩色相机，我们已经意识到了光谱维度可以带来的改变。因此，从现有相机的三色采集出发，多光谱采集、超光谱采集都在计算摄影学的框架下得到了广泛的研究。当前大多数成像摄影技术都是基于红、绿、蓝三色信息对场景影像进行记录的。虽然三色传感成像技术符合人类视觉系统的成像需求，然而从物理原理的角度出发，现实场景并非只有三色信息这么简单。从光源发出或经物体反射的光线具有丰富的波长，其中可见光覆盖从390nm直至780nm的广泛区域，包含了大量的信息。场景光线光谱正是指在这段波长范围内光线光强的分布。这种光谱信息能够反映出光源、物体以及场景的自然属性，因此成为进行科学研究与工程应用的有效工具。对光线光谱测量的研究由来已久。与传统相机相比，光谱采集研究的目标在于采集获取场景光线的真实光谱信息。从早期只能捕捉单束光线的光谱仪出发，从光谱分辨率的突破，到空间分辨率的提升，再到时间分辨率的拓展，光谱采集研究已经取得了长足发展，能够实现高分辨率超光谱视频的采集。超光谱信息为研究者和应用人员提供了适用场景更多的有效的光谱域特征，现在超光谱采集技术已经广泛用于军事安全、环境监测、生物科学、医疗诊断、科学观测等诸多领域，近些年计算机视觉、图形学领域的应用，如物体跟踪、图像分割、识别、场景渲染等，也受益于超光谱采集技术的发展，获得了突破。典型的混合相机多光谱采集系统（如图6所示）[8]结合蒙版采样与棱镜分光，对场景采样点的光谱进行采集，得到低分辨率高光谱数据，并使用双路采集技术，同时捕获高分辨率彩色场景信息，在重构阶段使用基于双边滤波的重构算法，得到高空间分辨图6 混合相机多光谱采集系统原理及实物图[8]拍摄场景入射光线混合相机系统平面镜分光镜掩膜棱镜RGB相机灰度相机平面镜分光镜掩膜滤波片（选用）RGB相机灰度相机棱镜12专题第 8 卷 第 8 期 2012 年 8 月率、高光谱分辨率的场景信息，进而实现突破光谱维度的计算采集。结语计算摄影学研究的目的是突破传统成像手段，实现对全光函数所表示的高维场景信息的高效采集。由于现有采集成像设备的维度局限性，大多数系统只能采集高维场景信息的二维投影，无法获取高维信息。计算摄影学旨在设计更先进的采集系统，使用更科学的采集方式，通过信息的耦合采集和计算重构，实现视觉信息采集技术的飞跃。■参考文献[1]EHAdelsonandJBergen,Theplenopticfunctionandtheelementsofearlyvision,InComputationalModelsofVisualProcessing.MITPress,Cambridge,MA,1991,3~20[2]JKopf,MUyttendaele,ODeussenandMCohen,CapturingandViewingGigapixelImages,ACMTransactionsonGraphics,2007[3]EHAdelsonandJohnY.A.Wang,SingleLensStereowithaPlenopticCamera,IEEETransactionsonPatternAnalysisandMachineIntelligence,vol.14,no.2,1992戴琼海清华大学教授。主要研究方向为计算摄像学、计算机视觉等。qhdai@mail.tsinghua.edu.cn马晨光 清华大学自动化系博士生。主要研究方向为计算摄像学等。mcg07