CMOS图像传感器的基础与应用

1.图像传感器的历史——从真空摄像管到CCD/CMOS图像传感器1.1图像传感器的诞生在图像传感器出现前，胶片是唯一记录保存图像的工具，而胶片所保存的图像在远距离传输以及后期处理方面存在着难以逾越的障碍。而图像传感器的目的是将拍摄的图像转化为电信号进行远距离传输、保存以及数字化保存和后期处理。那么图像传感器又是何时出现在人们生活中的呢？最早登场的是1923年由V.K.兹沃雷金发明的光电摄像管，它是利用在真空中可自由操作电子运动的性质制作的。如图1.1所示，在真空管中放置的云母板上面涂抹具有光电效应的铯（Cs），光线通过镜头在云母板上成像，此处产生的电荷，经等死放出的电子书进行扫描，取出信号电流。此后，一个又一个的改良感光度的摄像管被发明，如超正析摄像管（1946年），光导摄像管，硒砷碲摄像管，雪崩倍增靶（HARP）摄像管等，逐渐担任产生电视图像的角色。从原理可知，摄像管无法做到接通电源后立即工作，且工作电压高，功耗大，因燃烧寿命短等缺点。在以后的日子里，摄像管会被固态图像传感器取代。1.2固态图像传感器（Solid-StateImageSensor）用于晶体管或者IC得Si（硅）等半导体材料，具有将接受的光转换成电的光电变换性质。如果把单片IC基台的硅基板作为摄影面，并有规则的排列光电二极管（photodiode），然后依次将光电二极管的光电流以某种方式取出，则此基板具有了图像传感器的功能。最早可以产生图像，以像素平面排列的固态图像传感器，其构造与目前的CCD不同。例如发表于1966年的光敏晶体管平面排列的图像传感器；1967年发表了将光电二极管以平面矩阵排列，利用扫描脉冲与MOS晶体管，以XY地址方式取出信号的方法。这种方法虽然实现了实用化，但在与CCD的竞争中失败，成为后来的CMOS传感器的原型。1.3CCD图像传感器1969年，CCD（ChargeCoupledDevice,电荷耦合器件）由美国贝尔实验室的维拉·博伊尔（Willard.S.Boyle）与乔治·史密斯（George.E.Smith）所发明，两位发明者也因此获得了2009年诺贝尔新物理学奖。由于CCD具有储存信号电荷后传输的功能，可广泛应用于内存、显示器、延迟元件等。关键应用的CCD图像传感器，利用了被成为帧转移（FrameTransfer）方式（FT-CCD）的简单构造，于1971年由贝尔实验室发表。从CCD首次发表至今，为了达到实用化进行了众多的研究。早期研究多以构造简单的FT-CCD为主，而目前应用最为广泛的CCD构造一般为IT-CCD（InterlineTransfer行间转移），另外还有一种FIT-CCD（FrameInterlineTransfer帧行间转移）。在信号处理方面，也开发出了抑制CCD内部噪声的相关双采样电路（CDS:CorrelatedDoubleSampling）等。同时，为了弥补增大像素密度，缩小像素尺寸而引起的感光度下降的问题，还开发出了片上微镜头（Micro-Lens）。除CCD外，同期出现的固体传感器还有MOS型图像传感器（CMOS图像传感器原型），CID（ChargeInjectionDevice,电荷注入器件），CPD（ChargePrimingDevice，电荷引发器件）。此外，还有属于CCD之一的CSD（ChargeSweepDevice,电荷扫描器件）。然而在众多的传感器中，实用化的只有CCD与CMOS图像传感器。1.4CMOS图像传感器作为CMOS的原型，旧式的MOS型图像传感器，其像素不具有信号电荷放大功能，故归为PPS（PassivePixelSensor，无源像素传感器）；而如若像素内具有信号放大功能，则为APS（ActivePixelSensor,有源像素传感器），CMOS传感器多为APS。CMOS传感器在20世纪70年代在美国航空航天局（NASA）的喷气推进实验室（JPL）诞生，与CCD几乎同时起步。在发展初期，CMOS一直存在像素尺寸大，信噪比小，分辨率低，灵敏度低，同时有固有噪声（FPN:FixedPatternNoise）等缺点。而同期的CCD则灵敏度高，噪声低，像素尺寸小，所以长期以来CCD一直主宰图像传感器的市场。2成像系统以及图像传感器组成成像系统的概念2.1成像系统在图像传感器未出现前，传统的成像系统是由镜头，暗箱及胶片组成。光线通过镜头汇聚到处在焦平面的胶片上，使胶片感光（感光材料是卤化银，发生的是化学反应），从而记录下物体发射或反射的光。后期通过将感光后的胶片显影，定影，冲印将记录的图像再现在人们面前。在此成像系统中，镜头的作用是汇聚光线到焦平面，而胶片则完成了受光、感光、图像信息记录；图像再现则是显影、定影、冲印完成。在图像传感器出现后，由于图像传感器的工作是基于物理方式，有别与胶片的化学方式，同样的图像传感器组成的成像系统会比传统的分工更为明确和复杂些。2.2图像传感器组成的成像系统的工作方式在传统成像系统中，成像过程由受光，胶片感光即可完成（信息记录伴随胶片感光发生的化学反应而完成）。而图像传感器组成的成像系统要经过受光、感光、信号读出、信号传输、信息的记录与保存才可完成，最终再通过某种手段将图像再现。2.2.1受光光线通过镜头，汇聚于处在焦平面的传感器摄影面上。2.2.2感光传感器表面接受光照后，把接收的光信号转换为电信号，即进行光电转换，完成感光的动作。2.2.3信号读出图像传感器利用光电转换原理将光信号转为电信号后，必须将电信号从传感器内部取出才可以进行下一步的动作。读出动作可以有多种，如FT、IT、X-Y地址方式等，读出方式根据传感器构造不同而不同。2.2.4信号的传输，记录保存图像传感器的出现目的就是为了方便图像的传输，记录保存及后期处理，传输和记录保存随着时代的不同而发生着巨大的变化。早起通过微波传输，现在则可通过网络等。记录保存方式也多种多样，从磁带到现在的硬盘，闪存等。2.2.5图像再现基于图像传感器的图像再现可谓多种多样，你可以去冲印，当然也可以通过电视或者显示器去观看。3.CMOS图像传感器的基础——组成结构，工作方式及特性上一节讲到了由图像传感器组成的成像系统的主要工作方式，下面就从组成结构，工作方式几方面来说明CMOS图像传感器是如何完成以上几步工作的。3.1CMOS图像传感器的组成结构不同与CCD的特殊硅集成工艺，CMOSSENSOR是基于标准的CMOS（ComplementaryMetalOxideSemiconductor，互补金属氧化物半导体）LSI制造工艺制作而成。这样的好处就是可以很方便的在传感器上集成放大电路、A/D转换电路、缓存、图像处理单元等，从而形成一个SOC系统。如图3.1为一颗CMOSsensor的外形图，结构示意图，和剖视图。（a）美光MT9V011CMOSsensor外观（b）CMOSsensor结构示意图（c）CMOSsensor剖视图图3.1CMOSsensor外观、结构示意图、剖视图上图只是CMOSsensor的外部结构图，其内部结构为感光二极管、MOS管等，在这里不做过多说明。通过3.1（b）、（c）可知，CMOSsensor在外部结构上可大致分为三层：（1）Microlens层：在最外层，有许多的微型透镜组成，作用是把入射光线尽可能多的聚集到像素的感光区。（2）分色滤光片层（ColorFilter）：这一层覆盖了一个RGB的滤光片在感光区域上，作用是将入射光过滤，分成R,G,B三原色。（3）感光层：感光层接受光线照射，将光信号转变为电流信号，放大输出。感光层有X*Y个像素组成，每个像素的大致结构如图3.2所示：图3.2CMOSsensor的像素单元结构示意图由图3.2可以看出，放大电路，辅助回路占去了像素面积的2/3，而感光区只占到了1/3，这就造成CMOSsensor的开口率低（开口率：Apertureratio，指在单位像素内，实际感光区域的面积与单位像素总面积的比率。显然开口率越大，能感光的区域越大，单位像素产生的电荷愈多，灵敏度越高。），灵敏度不如CCD高。图3.3为CCD像素结构示意图。图3.3CCD像素单元结构示意图3.2CMOSSENSOR的框架结构以及内部组成图3.4CMOSsensorbasicdiagram图3.4为一个CMOSSENSOR的基本框架结构图，由图可知，一个CMOSsensor大概有像素矩阵（Pixel/ImageArray）、模拟放大、DAC偏置电流校正部分（OffsetCorrection）、ADC转换电路、I2C总线（SerialInterface）、TimingControl等基本结构组成。3.2.1像素矩阵（Pixel/ImageArray）这部分的功能很简单，就是感受光照，将光信号转化为电信号。图3.5所示，为现在常用的拜耳阵列（Bayercolorarray）图3.5拜耳像素矩阵排列3.2.2模拟放大（图3.4PGA所示）这部分的功能是放大从ImageArray输出的电信号，用于进行颜色，增益等控制。不同厂家生产的sensor这部分的划分也不一样，有些是RGBColorGain与GlobalGain分开，有些是在一起的。RGBColorGain是用于白平衡控制的。3.2.3DAC偏置电流校正部分（OffsetCorrection）这部分的工作是进行电流校正，相当于一个归零作用。3.2.4ADC转换电路（10-bitADC）转模拟信号为数字信号，一般的CMOSsensor内置10-bitADC。3.2.5I2C总线（SerialInterface）I2C串行总线，CMOSsensor与外界通讯。外加的DSP控制器可以通过这个总线对CMOSsensor进行初始化，并控制其工作状态。3.2.6TimingControl这部分产生，控制并输出sensor工作需要的各种时钟信号，包括Vsync，Hsync，Pclk。这几个时序信号是sensor工作必备的，也是理解sensor如何工作的基础。另外在某些支持ISP功能的sensor中，TimingConrol还控制AE。3.3CMOSSENSOR的工作方式（信号的读出及传输）一颗数字IC或者数模混合IC工作，一般需要时钟信号。CMOSsensor是一颗典型的数模混合IC，它需要一个外部时钟信号来工作。一个时钟信号给sensor后，sensor内部会产生一个主时钟（MasterClock），一般主时钟频率跟外部时钟相同，或者经过PLL倍频到外部时钟的某个倍数。再通过内部时钟控制电路产生一个Pclk（像素时钟），一般的像素时钟是主时钟的一半，或者更小点，是主时钟通过除频得到的。Pclk确定后，再根据图像大小，曝光长短，产生相应的Hsync，Vsync信号。Pclk，Hsync，Vsync这三个信号是理解sensor如何工作的基础，下面通向大家解释下这三个信号。（1）Pclk，像素时钟。在一个像素之中内，sensor会输出一个Pixel的数据，D0~D9（RAWRGB），或者一个Y，U，或V数据。（同样条件下，输出YUV数据需要的Pclk是输出RAW的2倍）。（2）Hsync，行同步信号。在一个Hsync内，完成一行像素数据的输出。（3）Vsync，场同步信号。这个信号是同步一帧图像数据的输出，一个Vsync的开始就是一幅图像数据传输的开始，传输结束后，Vsync结束。CMOSsensor输出的图像数据，可以粗略的认为是像素点Pixel组成。CMOS图像传感器的输出方式是点输出，那么X个像素点组成一行，Y行组成一帧，一帧就是一幅图像。下面通过图示向大家说明三个信号的关系。图3.6SensorTimingDiagram图3.6为CMOSSENSOR工作时序示意图，从图上可以看到，一个Pclk输出一个像素的数据，一个Hsync表示输出一整行像素数据，而对应的一个Vsync则代表完成一帧数据的输出。图3.7为Hsync与Pclk示意图，图3.8为Vsync与Hsync示意图。图3.7Hsync与Pclk示意图图3.8Vsync