搜索
基于图象的建模与绘制2007.10Image-BasedModelingandRendering(IBMR)基于图象的绘制（Image-BasedRendering，简称IBR）技术基于图象的建模（Image-BasedModeling，简称IBM）技术基于无几何信息的IBR技术基于部分几何信息的IBR技术基于完全几何信息的IBR技术图象与几何信息的结合IBR技术全景图定义全景图定义(1)(1)传统的基于图形渲染是对场景中对象的光线交互过程的仿真，对象的材质及其特性、光源和观察参数的描述组成了一个问题说明。基于图像渲染（ＩＢＲ）是以环境中抽样出的离散图像组成基础数据，通过处理与组织这些图像数据得到环境的连续描述的过程不同：计算机图形学主要研究如何从3D几何模型生成图象；近似摄影师的拍摄。计算机视觉研究如何从图象生成3D几何模型，而这却是非常困难的，至今没有很大进展。与GBR技术相比，IBR技术绘制场景好处：绘制只与图象的分辨率有关，与场景的复杂度无关。以图象为基础构造场景，无需构造场景的3D模型。利用计算机合成的图象以及拍摄的真实世界图象，两者还能混合使用，产生虚实结合的效果。无需价格昂贵的图形工作站和图形加速硬件。7D全光函数（plenopticfunction）Adelson和Bergen把从空间任意点、在任意的时间和覆盖任意的波长范围的可见光锥，命名为全景函数。观察者在一个特定空间中所接受的全部辐射能量),,,,,,(7tVVVPlenopticPzyxλφθ=7D全光函数（plenopticfunction）7D全光函数（plenopticfunction）任何的透视投影图像都可以看成是该环境的全光函数的子集构造全光函数的连续近似拍摄场景图象重建全光函数全光函数重采样绘制新视图全景图定义全景图定义(3)(3)全光建模系统将全光函数简化为五维μ＝Plenoptic(θ,φ,Vx,Vy,Vz,)光场函数和光图函数将全光函数简化为四维同心圆拼图将全光函数简化为三维全景图像则实际上描述的是二维全光函数全景图定义全景图定义(4)(4)全景图，又称全景照片，指的是基于图像的水平360°及上下文空间的图形组织环境，可以表达完整的周围环境信息，相当于人们从一个固定点向四周转一圈所看到的景象。全景图对于观察者而言是建立在图像上立体的多角度的图像环境。全景图特点全景图特点全景图是构成虚拟环境的基本单元，是描绘某个视点上周围环境的图像。相对于传统的几何建模而言，全景图模型不仅真实感强，而且它的细节复杂性丝毫不影响其运行速度。目前的具体应用目前的具体应用主要应用在旅游电子商务业及房地产商：可针对现有旅游景观进行虚拟旅游，通过这种方式的虚拟旅游，可以起到对旅游景点宣传、扩大影响力和吸引游客的作用，如长城、天坛等…针对现在已经不存在的旅游景观或是即将不复存在的旅游景观,可开展虚拟旅游,如三峡风景区的虚拟旅游，某些著名古建筑或装修前原貌观光等…目前发展情况目前发展情况国外：相对已比较成熟，已有大量工具。国内：尚处于起步阶段，应用较少，国外发展情况国外发展情况已大量在实际科研生产中应用，在人工智能方面使用全景图进行移动物体追踪、全场景定位和障碍识别。全景图软件：PanoViewer4.2QuickTimeVR全景图模式全景图模式全景图的模式:根据图像投影方式的不同，一般可分为根据图像投影方式的不同，一般可分为三种模式：三种模式：球形模型球形模型圆柱形模式圆柱形模式立方体模式立方体模式用鱼眼图象构造球面全景图象球面全景图象柱面全景图像生成的过程柱面全景图像生成的过程1.1.采集图像采集图像2.2.柱面正投影柱面正投影3.3.拼接拼接采集图像采集图像图拍摄实景图像装置当数码相机焦距为35mm时，一幅360°全景图像一般需要7～9张照片；当焦距为105mm时，一幅360°全景图像一般需要24张照片。一般把焦距定在35mm。柱面正投影柱面正投影(1)(1)将采集的实景图像进将采集的实景图像进行柱面正投影行柱面正投影柱面正投影示意图YZOXP（x，y）ZWHIIQ图像I上的任意一点象素点相机的象素焦距为fyf22WH（x-,-，－）需要求出需要求出PP在圆柱在圆柱面上的投影点面上的投影点QQ在在柱面全景图像中的柱面全景图像中的坐标（坐标（xx’’，，yy’’））柱面正投影柱面正投影(2)(2)222()()2(y-)22(x-)2WxwxfarctgfarctgffHfHyWf−′=+′=++ii象素点象素点PP（（xx，，yy）柱面正投影到柱面全景图像象素点）柱面正投影到柱面全景图像象素点QQ（（xx‘‘，，yy’’）的投影公式：）的投影公式：柱面全景图像的拼接柱面全景图像的拼接分两个步骤：分两个步骤：第一步：第一步：图像的匹配图像的匹配第二步：第二步：图像的无缝拼接图像的无缝拼接图像的匹配图像的匹配采用基于特征线段的图像匹配算法。……n幅局部图像拼接为全景图像局部图像1局部图像2局部图像3局部图像n－1局部图像n在重叠区域选取间隔为d的两列中的部分象素M构造特征模版base[K]搜索范围中选取Ｐ和Ｐ＋d两列中的部分象素K假设最左边的一列象素位置Ｐ为０计算对应象素的差值得到水平象素值差image[K]（Ｋ＞Ｍ）设垂直交错距离为dis对每个dis计算image[K]与base[M]的差值并得到差值的平方和e[dis]图像的无缝拼接图像的无缝拼接利用渐入渐出的方法，即在重叠部分由前一幅图像慢慢利用渐入渐出的方法，即在重叠部分由前一幅图像慢慢过渡到第二幅图像并删去垂直方向错开的图像部分。过渡到第二幅图像并删去垂直方向错开的图像部分。设渐变因子为0d1，对应的前后两幅图像重叠部分象素值为image1，image2，结果为image3，则Image3Image3＝＝d*image1d*image1＋（＋（11－－dd））**image2image2其中d由1渐渐变化到0，它与图像之间的水平方向重叠距离有关。虚拟数字航空航天博物馆空间的操纵视点空间内操纵主要操纵视角试点空间间的操纵位置关联、时间关联、虚化关联、焦距关联虚拟空间生成平台、虚拟空间浏览器(a)平视1(b)平视2(c)平视3(d)平视4(e)仰视(f)俯视真实场景的漫游结果全景图像生成器普通照相机普通摄像机全景图像生成器空间编辑器虚拟全景空间图5-3虚拟全景空间生成流程在采样过程中，摄象机限制在圆周上运动，通过合成沿每个圆上不同点切线方向的线图象，生成具有相同圆心的拼图。在重建过程中，根据视域方向找到相应的线图象，即可生成新的视图。同心拼图法用摄象机的运动半径r，旋转角度δ和垂直高度h这3个参数就可以索引所有光线：同心拼图方法),,(3hrPlenopticPδ=同心拼图的拍摄方法同心拼图的构造方法OCnCkC0CiXYr0rkr0r0rkrkrkCM0CMKC0CkCn......同心拼图同心拼图新视点的绘制方法VPsPtC0CiCjCkCMjCMitsLsLt绘制的图象插值插值结果与视点固定的全景图象相比，优点：同心拼图法不必恢复几何和照片场景的模型，就可以在圆内自由移动。同心拼图法的数据量很小，图象采样和同心圆构造都十分方便，所以构造这种能够自由漫游的虚拟场景比较容易。不足：采用的方案是对空间和时间效率的折中，所以同心拼图法只能在很小的范围内自由漫游。同心拼图法只考虑了水平视差问题，忽略了垂直视差，造成深度扭曲，并且在漫游过程中无法进行俯视和仰视，观察范围受到限制。同心圆A同心圆B视频P1P2同心圆组超链解决垂直视差多视点平行拼图照相机物体拍摄路径LN…L3L2L1M0R1R2R3…RN多视点平行拼图原始透视投影图像线性插值获得的平行拼图Lagrange插值生成的平行拼图多视点平行拼图用平行拼图绘制的图像视点逼近后绘制的图像，仍然保持恒定分辨率基于模型和图象混合的方法Rander等提出VirtualizedReality技术，使用多个摄象机拍摄场景，从中生成动态虚拟场景。基于模型和图象混合的方法Debevec等提出几何绘制和图象绘制技术的混合方法，从少数离散照片中构造和绘制真实的建筑场景。基于模型和图象混合的方法PanoPanoViewer4.2Viewer4.2QuickTimeVRQuickTimeVR由美国苹果公司所开发的跨平台多媒体套件，支持各种格式的影片、图片、流媒体、动画、声音、虚拟现实以及具有互动效果的文件的虚拟实境技术球形模型球形模型是将普通照相机拍摄的相片经镶嵌形成一个球体的形状。优点：优点：是描述场景的一个理想选择缺点：缺点：球面全景图球面全景图是一个非均匀采样表示，其会导致场景扭曲变形，在两极尤为严重;球面投影缺乏一种适合于计算机存储的表示方式立方体模式立方体模式由六个平面投影图像组成优点：优点：易于全景图象数据的存储，便于显示.可以实现任意角度的旋转.缺点：缺点：要求相机主光轴在获取相邻的相片时必须垂直.且摄取每一个平面图像需要90°的广角镜.圆柱形模式圆柱形模式以相机视点为中心的圆柱形全景图优点：优点：单帧相片的获取简单.将圆柱全景图圆柱全景图展开成矩形图像，可直接利用计算机的图像格式进行存储访问.缺点：缺点：无底面的有限柱面将对垂直方向的视域有一定的限制.