3D视觉传感技术研究进展

3D视觉传感技术研究进展1引言毫无疑问，视觉是人获取信息的主要器官。在当前的视觉系统中，3D立体成像成为研究热点，无需配戴立体眼镜就能观看立体图像成为视觉系统的发展方向。目前所谓的3D游戏和电影，实际上并非真正的3D影像。这是因为拍摄电影时使用的是单镜头的摄像机，制作的游戏使用的是3D软件技术，并且目前显示的屏幕是2D，因此从制作到显示都是平面的。3D图像信息的获取都是基于某种图像传感器获取、量化图像信息，这些图像传感器有直接获取可见光的图像，也有间接通过检测辐射、红外线、X射线、或者超声波来获取图像信息。不同的传感器技术有不同的分辨率、精度和噪声，因此从图像传感器获取的信息中提取有用信号进行分析成为广大科技工作者的研究课题。3D视觉传感器具有广泛的用途，比如多媒体手机、网络摄像、数码相机、机器人视觉导航、汽车安全系统、生物医学图像分析、人机界面、虚拟现实、监控、工业检测、无线远距离传感、显微镜技术、天文观察、海洋自主导航、科学仪器等等。这些不同的应用均是基于3D视觉图像传感器技术。特别是3D影像技术在工业控制、汽车自动导航中具有急迫的应用。通过分析发现，发现目前研究3D影像技术主要集中在基于CCD或者CMOS图像传感器的3D实现方法、图像处理和显示的研究，真正开展3D视觉传感器研究的很少。本文在分析各种3D影像技术的方法上，提出一种新的3D视觉传感器新技术，并重点讨论3D新影像技术的关键技术之一的视觉图像摄取器件的原理和实现方法。与传统的3D视觉传感器技术相比，具有结构简单、实现方便、价格低廉的优点，便于便携式多媒体设备的应用。23D立体成像原理3D信号是一个三维坐标的空间信号。在一个精确视觉的定义中，3D影像应该是一个拥有三个空间分量的图像。但是，从广义上讲，视频信号序列可以考虑作为一个3D信号，其中包括两维的空间变量和一个一维的时间分量。在真正的3D视频信号中，其图像是一个拥有三个空间分量的影像;有时，广义上讲3D视频信号可以看作是4维空间信号，拥有三个空间分量和一个时间分量。图1表示人的眼睛3D成像原理。人的眼睛看到的景象是一种具有层次和深度的立体影像。人两眼水平分开在两个不同的位置上，当人眼在观察一个三维物体的时候，两个眼睛观察的物体图像是不一样的，存在一个像差，两幅图像传输到大脑，通过大脑的合成处理，人就感觉到一个三维世界的深度立体变化。其基本原理是利用两眼的视觉像差和光学折射原理形成三维图像。一些鸟类的大脑没有三维影像合成的功能，比如公鸡，公鸡通过异步前后移动头脑来获得3D的影像。图1人的眼睛3D成像原理一般情况下，在三维空间里，物体反射光的密度会不一样，通过监测物体上反射光的密度可以决定物体的三维影像。目前3D的图像可以通过适当的工作方式从固体图像传感器(比如CCD或者CMOS图像传感器)检测物体反射光的密度来获得。3光电3D影像技术的发展根据获取图像信息方法的不同，光电3D影像技术分为有源和无源两种技术，无源技术主要是接受物体的辐射或者环境的发射，有源技术是通过投射一束调制的或未调制的光到物体上通过检测物体反射的光来形成3D图像。以前大多数技术研究集中在无源3D技术上，利用三角测量原理，通过两台相距一定距离的照相机，左边照相机产生的图像表示深度信息，右边照相机产生差异的二维图像。关键是产生深度信息的照相机需要分离出深度信息。无源3D影像技术需要拍摄的物体具有突出的轮廓特点，比如边缘、角、线等。其优点是不需要特殊的硬件条件，并成功使用在好几个方面。这种技术的缺点是需要两台或者更多的高质量的照相机、图像处理软件。图像质量、拍照速度、数据传输等都是这种机制能否被广泛应用的限制因素。有源3D光电图像方法是投射一束有规律的空间分布的线状光到物体上从而产生一个网状格的深度。广泛使用的有源光方法是飞行时间(timeofflight)方法，最近几年，市场上出现的3D照相机都是基于飞行时间方法，这些3D照相机主要应用于工业控制。SwissRanger3000照相机是最近应用这种技术的产品，通过飞行时间方法检测相位来实现3D影像。一束几十兆赫兹被调制的近红外光照射到物体上，物体反射的光进入3D照相机，由于立体物体的远近距离不同，反射光的相位存在一个延迟，通过检测原始光束以及反射光束的相位延迟从而检测出物体的景深，从而实现3D图像。这种3D图像传感器的制作由ZMD公司完成，ZMD公司根据3D图像传感器需要高速的特点从噪声和速度进行工艺优化，响应速度可以到100MHz以上。4一种新的3D视觉图像传感器技术不管是多个照相机形成的3D无源影像技术，还是以飞行时间方为原理的有源3D影像技术，整个系统的价格都很高、功耗大、需要复杂的校正软件。在有源3D影像技术中可以获得高精度的3D图像，但是要求传感器的工作响应速度很高，在现有技术情况下，不得不降低图像的分辨率。目前研究3D影像技术主要集中在基于CCD或者CMOS图像传感器的3D实现方法、图像处理和显示的研究，真正开展视觉传感器研究的很少。本文提出一种新的3D视觉图像传感器技术，可以单芯片实现3D拍照的功能，同时可以输出2D的影像，并输出高分辨率的3D图像。这种图像传感器技术并不需要额外的有源光照，通过电子快门控制曝光时间，获得高速的视频图像，通过自动对焦处理，形成景深影像。这种3D传感器技术很适合于低价格、小型化的视觉应用系统，比如手机等多媒体应用。该系统由两部分构成，3DCMOS图像传感器以及可变焦的液体镜头两部分构成，其中3DCMOS图像传感器集成光电转变电路、低噪声读出电路、噪声抑制电路、可编程放大电路、模数转换器电路、曝光控制电路、坏像素纠正电路、彩色空间转换电路、自动白平衡电路以及多媒体图像信号处理电路等功能。图2是传统2D与提出的3D拍照图像传感器芯片与系统，图2(a)是传统2D拍照图像传感器芯片与系统，图中主要包括2DCMOS图像传感器芯片和定焦镜头，当拍照的时候，物体上所有的像素点都映射到AA'平面上，因此系统拍照得到的是一个2维图像。图2(b)是提出的3D拍照图像传感器芯片与系统，图中主要包括3DCMOS图像传感器芯片和液体变焦镜头。其中3DCMOS图像传感器芯片的特点是响应速度快、动态范围高、具有焦距判断、输出控制信号改变液态镜头的功能。液态变焦镜头是近两年发展起来的新型变焦镜头，通过改变施加在液体上的电压而改变焦距，比如拍照AA'平面时，液体变焦镜头的形状如图中的实线所示，如果拍照BB'平面时，液体变焦镜头的形状如图中的虚线所示，在AA'与BB'平面之间可以拍照多幅图像，分析这些图像的轮廓并合成这些图像的边缘，就可以得到一幅完整的3D图像。这种3D拍照图像传感器系统具有分辨率高，根据预设拍照的照片个数的多少而得到更精确的景深照片。与传统的光学变焦镜头相比，这种液体变焦镜头的优势是响应快、变焦快，适合于快速变焦的应用场合。图2传统2D与提出的3D拍照图像传感器芯片与系统图3是3DCMOS图像传感器芯片的示意图，图中的像素单元电路具有灵敏度高、暗电流小、噪声低等优点，行译码电路和列译码电路在时序控制电路的控制下产生像素阵列工作的时序，噪声抑制电路消除信号通路带来的噪声，经过模数转换器将模拟信号转换为数字信号，并输给逻辑产生与数字信号处理电路，逻辑产生与数字信号处理电路产生控制信号控制感光阵列的曝光时间，并集成白平衡处理、彩色差值、焦距判断、轮廓提取等功能。其中模数转换器是多分辨率的模数转换器，在拍照2D图像时输出10bit的数据，当拍照3D图像时，仅仅输出二值化的图像信息。同时电路可以集成电源管理、锁相环电路模块、I2C控制总线，这正是CMOS图像传感器的优势所在(与CCD图像传感器相比，CCD不能单芯片集成)。图33DCMOS图像传感器芯片的示意图图4表示3DCMOS图像传感器芯片及系统工作的时序图，其中长曝光时间拍摄的是正常的2D图像，后续短曝光拍摄的是景深图像，从AA'到BB'平面可以连续自动拍照，从而产生合成3D影像的景深图像。当3DCMOS图像传感器芯片工作于2D图像拍照模式时，模数转换器输出10位的数据给数字信号图像处理模块，当3DCMOS图像传感器芯片工作于3D图像拍照模式，模数转换器输出二值化的图像信息，因此3DCMOS图像传感器芯片可以工作于高速拍照的模式，从而获得高速视频信息。图43DCMOS图像传感器芯片工作示意图图5是法国Varioptic公司的液体变焦镜头示意图。液体变焦镜头由法国Varioptic发明，其原理是将两种液体固定在不同的容器中，再它们之间加装一个金属电极，电极中间注入导电液体，当施加在电极上的电压发生改变时，容器中的具有极性的水分子发生漂移，从是两种液体容器中的液体形状发生改变，根据变形的程度来改变焦距。最大特色是其具备几乎是无限宽广的变焦范围，更快反映速度及更出色光学性能，可以应用在可拍照手机、数码相机以及PDA等等设备上。其电压控制信号由3DCMOS图像传感器芯片可编程提供或者自动等间距提供。图5液体变焦镜头示意图5结语人类肉眼看到的是一幅具有层次、深度的立体影像。但是目前的摄像机和显示屏大多数是2D的，因此3D成像成为目前的研究热点，3D影像技术将成为将来发展的新技术。3D影像技术在多媒体手机、网络摄像、数码相机、机器人视觉导航、汽车安全系统、生物医学图像分析、人机界面、虚拟现实、监控、工业检测、无线远距离传感、显微镜技术、天文观察、海洋自主导航、科学仪器等等领域具有广阔的用途。目前发展起来的基于飞行时间方法的3D摄像机在一些工业控制和一些导航中有所应用，但是这些3D装置复杂，价格昂贵。本文在分析有源和无源3D影像传感器方法上发现真正开展3D视觉传感器研究的很少，大多集中在基于CCD或者CMOS图像传感器的3D实现方法、图像处理和显示的研究上。本文在分析各种3D影像技术的方法上，提出一种新的3D视觉传感器新技术，并重点讨论3D新影像技术的关键技术之一的视觉图像摄取器件的原理和实现方法。与传统的3D视觉传感器技术相比，具有结构简单、实现方便、价格低廉的优点，便于便携式多媒体设备的应用，可以弥补目前3D传感装置的缺点。