计算机视觉17-9.1-单幅图像深度重建

第九章单幅图像深度重建DepthmapReconstructionBasedonMonocularcues深度图章节安排基于单眼线索的深度重建ShapeFromShadingShapeFromVanishingPointShapeFromDefocusShapeFromTexture基于单眼线索的深度重建除了双眼视差提供的双眼对深度的信息外，还有许多单眼的信息也有利于深度的分辨.人类即使在头部固定且只使用单目来观测外部世界时，也可以得到比较准确的深度知觉（DepthPerception）。此时，人类的主要依据是外界环境及观察对象的物理特性或现象。这些仅凭一只眼睛的视觉即可提供的线索就是单眼线索。单眼线索在绘画及摄影中发挥着重要的作用，也被称之为图形线索。1ShapeFromShading基于明暗的深度重建Horn早在1977年就提出了ShapeFromShading-SFS的方法，并且在1989年出版了专著[1]。1999年，RuoZhang等人在文献[2]中对SFS方法作了较全面的综述。[1]BKPHorn,MJBrooks.Shapefromshading.Cambridge:MITPress,1989[2]RZhang,PSTsai,JECryer,etc.Shapefromshading:Asurvey.IEEETransactionsonPatternAnalysisandMachineIntellicence(PAMI),19991.1成像物理学描述光在物体表面的反射物理特性，即光从光源到达物体表面，再从物体表面反射到图象平面，形成图像的过程和行为.成像几何确定场景点在图像平面上的位置，成像物理学确定场景点在图象平面上的亮度.成像物理学成像三要素：光源、物体、图像平面两个过程：照明--光源发射光到物体表面反射--物体表面反射光到图象平面（1）表面方向半球(HemisphereofDirections)物体表面接受(反射)光线的全部方向.其接受(反射)的总能量等于半球上各个小片的能量之和.•立体角(solidangle)单位半球上小片的面积，也表示接受(反射)能量的方向.iiidddsin（2）透视缩小效应(foreshortening)表面片接受（反射）光能的有效面积与该表面片和光源（图象平面）的角度有关.倾斜于光线传播方向的表面片“看起来”比实际小.发生透视缩小效应的大表面片与小表面片接受的光能是相同的.透视缩小因子ddddAsincoscos（3）辐照度与辐射度辐射度(radiance)：单位面积辐射表面在单位时间内向某一方向辐射的能量辐照度(irradiance)：到达单位面积表面的辐射能量光源只有辐射，图像平面只有辐照，物体既有辐照，也有辐射.（4）双向反射分布函数中心问题物体表面接受光能（辐照度）和反射光能（辐射度）的关系.与接受和反射光能的角度，以及表面材料有关.用双向反射分布函数(bidirectionalreflectancedistributionfunction,BRDF)建模.双向反射分布函数到达表面的辐照度与所引起的辐射度的比例辐射度BRDF辐照度dLfLfLiiisrrriiiiirriirrrcos),(),,,(),(),,,(),(,X,X,X,（5）表面的辐射度与辐照度表面片接受的总辐照度：表面片的辐射度：所有辐照在相应方向上形成的辐射度之和202/0,sincos),(iiiiiisriddLLX,X202/0,sincos),(),,,(),(iiiiiisrrriirrrddLfLX,X,（6）反射率(reflectance)从某一方向上接受的辐照度与该辐照度引起的总辐射度的比例，反映了表面的光学特性，包括反射特性和吸光特性.rrrriirriiiisrrrriiiisrrrrrriidfddXLXLdXLdXLcos,,,coscos,,,,cos,,cos,,,,,（7）图象平面的辐照度图像平面上一点处的辐照度(亮度，intensity)等于场景对应点在相应方向上的辐射度，或与之成比例.rrrrrrLyxIkLyxI,),(,,),(X,X,•知道了光源、双向反射分布函数以及图像平面点与物体点的对应关系，就可以确定图象平面上点的亮度.1.2表面模型（SurfaceModels）1.Lambertian表面(漫反射表面，diffusesurface)2.镜面(SpecularSurfaces)3.Lambertian表面+镜面1.Lambertian表面表面反射与反射角度无关，从物体的各个方向看同一个表面点，都感觉具有同样的亮度.双向反射分布函数是一个常数.),,,(rriif例：棉衣、地毯、无光泽的纸和涂料等等Lambertian表面的反照率(Albedo)Lambertian表面的反射率与入射角度无关，称为漫反射率(diffusereflectance)或反照率：drrrrrrrrrriidddddfsincoscoscos,,,Lambertian表面的辐射度•Lambertian表面上一点处向各个方向产生的辐射度：XXXXidiiiiiisrdiiiiiisrrriirrrLddLddLfLsincos),,(sincos),,(),,,(,,,,2.镜面理想镜面像理想的镜子一样，按一定方向反射入射光.反射角与入射角相等，但分别位于表面片法线的两侧.iiirirsrriifcossin)()(),,,(X),,(),,(,rrsrsrrrLLXXX3Lamertian表面+镜面完美的Lamertian表面或镜面都是很少见的，通常将两种表面的特性组合在一起来构成用于近似物体表面反射特性的模型.常量控制两种反射特性的混合程度.iiirirsdrriifcossin)()()1(),,,(XX常用的光照模型Phong镜面模型：辐射度与成比例srnncoscosrsnssrsrrrLLcos),,(),,(XXX•Torrance-Sparrow镜面模型：假设表面是由方向随机分布的镜面小面(facets)组成.D代表任意一种分布函数,G是几何衰减系数，F是菲涅尔Fresnel衰减系数。DavidK.McAllister的博士论文《AGENERALIZEDSURFACEAPPEARANCEREPRESENTATIONFORCOMPUTERGRAPHICS》1.3光源(LightSources)1.点光源(pointsources)2.线光源(linesources)3.面光源(areasources)（1）点光源点光源是一种最常用的光源，可以用一个球面来建模.siiiiisisiiiiiiieeiieeIddIIddIfLcoscossinsin)()(cossin),(),,,(),(0002/0202/0Lambertian余弦定律•由点光源照射的Lambertian表面的感觉亮度随表面法线与光源的夹角发生变化.表面法线与光源的夹角想象一个房间，其中只有一个打开的灯泡和一个白色球体，则球体中法线指向灯泡的地方将是最亮的。（2）线光源线光源具有直线的几何形态，比如一根荧光灯管.可以用细圆柱体来建模.（3）面光源面光源可以建模为平面片.面光源在Lambertian表面上引起的辐射度可以变换为在光源平面上的积分：光源表面片UUXXXXdArLdLLsisrdisrdr2,,coscoscos1.4明暗模型(ShadingModels)局部(local)明暗模型仅考虑光源的照射效果全局(global)明暗模型考虑场景内物体反射光所造成的影响（1）环境光照（ambientillumination）同一物体不同表面片之间的相互影响（2）互反射(interreflection)不同表面片，不同物体之间的相互影响1环境光照同一表面上一个表面片所产生的辐射度受其他表面片辐射度的影响.当表面片从其他表面片所接受的辐照度近似恒定或均匀分布时，可以考虑在每个表面片所产生的辐射度上增加一个环境光照项(ambientilluminationterm).两种增加方法1.常量项（表面片可见范围一致）2.可变项（表面片可见范围不同）常量项可变项2互反射表面片的辐射度受场景中所有该表面片可见的其他表面片辐射度的影响.,,XXXpatchsrsrrLLL光源引起的辐射其他表面片引起的辐射•可将其他表面片看作一个面光源UUUX,UXXUXXXdAKL,pdArL,pLiipripatchidsipripatchidpatchsr,2,,visiblecoscosvisible变换为面光源上的积分互反射互反射核函数(interreflectionkernel)：不可见对可见对XUXUUX,,0,1visible•互反射模型：Lambertian表面的有效模型，在计算机图形学中广泛应用.UXUX,,visibleKUUUX,UX,dALKXXLXLiipripdsrr,,visible互反射模型表面辐射度的计算1.将场景中的所有表面划分为许多小的平面片，假设平面片上各点的辐射度是恒定的.第j平面片在第i平面片上引起的辐射度：jrijppdijrjrppdiijrLKdAdAKALdAdALKALijij,,,,visible1visible1UXUXUX,UX,XUX,UX,X互反射模型2.计算第i表面片上的总辐射度：jrjijisrjijrisrirLKLLLL,,,,,3.获得以NiLir,2,1,,为未知量的线性方程组，求解得各表面片上的辐射度1.5反射图(ReflectanceMap)场景照明（光源）、表面反射特性和表面方向（梯度表示）共同确定表面一点的亮度，三者的组合形成反射图.假设图象平面上的辐照度（亮度）等于物体表面对应点的辐射度，则已知反射图和以上三个因素，就可以确定图象上一点的亮度.反之同样成立.灰度图象轮廓图象点光源照射的Lambertian表面典型反射图1.6从明暗恢复形状问题：已知光源亮度和反射图，求解图象上每一点对应的三维信息基本假设光源为无限远处点光源;反射模型为朗伯体表面反射模型(LambertianSurfaceModel);成象几何关系为正交投影,这样物体表面点图象亮度E仅由该点光源入射角θ的余弦决定.从明暗恢复形状若以摄像机坐标系为参照系,并将物体表面高度表示为z=z(x,y),则物体表面法方向可由其表面各点法向量n=(n1,n2,n3)、表面梯度(p,q)或表面倾角(slant)γ和偏角(tilt)τ表示.l为表面点法向量的模从明暗恢复形状朗伯体表面反射模型就可以表示为:或者:E(x,y)为归一化的图象亮度,R(p,q)为反射函数.n0=(n01,n02,n03)或(-p0,-q0,1)表示光源方向从明暗恢复形状一般情况下,仅由该模型所确定的SFS问题是病态的(没有唯一解),因此为