机器视觉人工智能及其应用

第九章机器视觉人工智能及其应用对人类感觉信息的理解与处理是人工智能研究和应用又一重要领域。人类的这些感觉信息是多种多样的,包括视觉、听觉、力觉、触觉、嗅觉、味觉、接近感和临场感(telexistence或telepresence)以及情感等。其中,对视觉和力觉的研究最为重要,且均已进入实用阶段。对触觉和听觉的研究也已获得显著进展。不过,对嗅觉,尤其是味觉的研究尚未有重大突破。至于对人工情感的研究,仍停留在科学幻想阶段。除了对各种单一的传感信息进行研究外,近年来又出现了对多种传感信息的集成与融合(integrationandfusion)研究；它利用各种传感器性能上的差异性与互补性,融合不同传感器的信息源并加以综合分析,以得到正确理解的、稳定可靠的周围环境信息,使系统具有容错性,提高系统的信息处理速度,保证决策的正确性和准确性。联为-稻草人自动化视觉是人类最重要的感觉能力之一。视觉数据是人的最复杂和最有用的感觉输入信息。人眼能感觉颜色,因为它具有全色能力。人眼能感觉运动,因为视网能提供所出现事物的实际响应。当代科学技术能否用机器来完全解释、模拟、复现和处理人的视觉呢？作为一种感觉输入数据,人们已能以有限的但是比较重要的方法重现视觉信息。机器视觉涉及对相似视觉数据的解释。接至计算机的视觉传感器感受到图像的明暗信号,并把这些信号变换为可供处理的形式。把视觉传感器装在机器人的机械手上,只要物体与其背景的对比度明显不同,而且不相互接触或重叠,那么就能够让机器人通过图像轮廓来识别物体。这种视觉系统已获得应用。由机器来感觉环境并执行要完成的任务具有明显的优点,并获得多方面的应用。除了用于由机器人进行装配和检验作业外,还可用于星际空间搜索、医用X-射线自动鉴别、地球资源遥感监视和各种军事应用等。这种视觉机器有助于执行许多日常单调的甚至对人危险的任务；如果没有某种感觉能力,那么这些任务是很难甚至无法完成的。大多数工业装配任务,包括一些看起来很简单的任务(如把车辆装在汽车上),一般都需要采用视觉技术。在恶劣环境下(例如,在太空和水下)或在加工有害材料时,一般都需要机器视觉。对于许多应用,视觉系统必须是自主的。计算机视觉(即机器视觉)就是由图像数据来产生视野环境内有用符号描述的过程。所开发的计算机视觉的特点与过程往往与其应用场合有关。机器视觉包含众多的研究课题,如视觉可计算性原理、图像的形成和获取、图像预处理、边缘检测与分割、特征抽取与匹配、区域生成与分割、形状分析与识别、运动视觉、主动视觉、三维视觉以及视觉知识的表示和视觉系统的控制策略等。机器视觉已发展成为一门独立的学科。因此,对机器视觉的系统、全面和深入的研究,已不是本书的任务。本章仅对机器视觉进行导论性介绍,仅限于讨论一些比较基本的问题,这些问题可能与机器人视觉有比较直接的关系。联为-稻草人自动化图像的理解与分析对图像的理解和解释是计算机视觉的研究中心,也是人工智能研究的焦点之一。可以把视觉理解为一个从外部世界图像产生对观察者有用的描述过程。这些描述依次由许多不同的记录了的景物某一方向的固定表达组成。因此,选择视觉系统的表达方法,对于视觉系统是至关重要的。联为-稻草人自动化视觉信息的表达方法根据马氏(Marr)提出的假设,视觉信息处理过程包括三个主要表达层次,即初始简图、二维半简图和三维简图,如图9.1所示。联为-稻草人自动化初始简图亮度图像含有两种重要信息：图像的亮度变化和局部几何特征。初始简图是一种本原表达法,它能完全而又清楚地表示上述信息。初始简图所包含的信息大部分集中在与实际边缘以及边缘终止点有关的剧烈灰度变化上。对于每一边缘亮度变化,在初始简图上都有对应的描述。这些描述包括：与边缘有关的亮度变化率、总的亮度变化、边缘长度、曲率和方向等。粗略地说,初始简图是以勾画草图的形式来表示图像中的亮度变化的。图9.2即为初始简图的一个例子,说明它的辉亮边界描述和亮度变化。如果所用边缘检测方法所产生的是短线段,那么,就要利用聚集过程把那些相容的描述线段连接起来。根据马氏理论产生初始简图,并不需要关于特定物体的有关知识。也就是说,马氏建议试图描述图像具有的属性,而对景物可能与什么事物有关则不作任何假设。联为-稻草人自动化二维半简图要对图像进行更深入的描述,需要知道其内在特性。这些内在特性包括表面方向、从观察者至被观察表面的距离、反射和入射光照表面的纹理以及材料特性等。二维半简图(2½Dsketch)包含景物表面的信息,可以把它看做某些内在特性的混合信息。二维半简图清楚地表示物体表面方向的信息。物体表面法线从物体内部穿出来,使物体好像穿刺满了针一样。有时,这种二维半简图又称为指针图,或简称针图(needlediagram)。此外,二维半简图还包含从观察者到图像各部分的距离。图9.3表示出二维半简图的表面方向信息。图中,指针的箭头表示垂直于表面的矢量,即为表面法线。在初始简图和二维半简图中,信息往往是以与观察者有关的坐标系表示的。因此,这种表达法称为观察者中心表达法。联为-稻草人自动化三维模型三维表达法能够完全而又清晰地表示有关物体形状的信息，其方法之一即为广义柱体。广义柱体的概念十分重要，而其表示方法又十分简单，如图9.4所示。图中，柱体的横截面沿轴线的投影不变。一个普通圆柱可看做是一个圆周沿其中心垂线移动而成；一个楔形物是一个三角形沿其中垂线移动而得的，等等。一般地说，一个广义柱体是二维轮廓图沿其轴线移动而成的。在移动过程中，轮廓与轴线之间保持固定的角度不变。轮廓可为任何形状，而且在移动过程中其尺寸可能是变化的，其轴线也不一定是垂线或直线，如图9.5所示。联为-稻草人自动化复杂物体往往是由一些广义柱体连接而成的。一般地,一个中央主柱体被一些凹槽或凸面所修正。这样,复杂物体就可以由一些基本图形构成。联为-稻草人自动化表示出两平面间边缘处的亮度变化图。其中,图9.6(a)为理想边缘亮度变化；这时,亮度在边缘处由一值跃变为另一值。图9.6(b)则表示实际边缘亮度变化；这时亮度的变化比较模糊,不存在明显的阶跃变化,因而也就很难确定边缘的位置。这种情况是与图像输入装置不可能产生足够清晰的图像有关的。因为在获得图像时,会遇到传感器的亮度灵敏性波动、图像坐标信息误差、电子噪声、光源扰动以及无力接收大范围变化的亮度信息等。另一个原因是图像本身很复杂,其实际边缘并不是陡峭的,而是逐步过渡的；还可能存在相互照明效应、意外划痕和灰尘等。联为-稻草人自动化个步骤:(1)从图像建立平均亮度阵列。取局部亮度的平均值能够减少噪声的影响。下述公式说明需要进行的计算。为简化起见,所列公式是用于二维计算的一维形式：式中,Ii为i点的图像亮度,而Ai为i点的平均亮度。(2)从平均亮度阵列产生平均一阶差分阵列。取右邻差分(Ai+1-Ai)与左邻差分(Ai-Ai-1)的平联为-稻草人自动化均值,这相当于把i的左邻和右邻相平均。令Fi为平均亮度Ai的一次平均差分,则有：上式与一次微分的有限差分近似。(3)从一次平均差分阵列建立二次平均差分阵列。为此,求一次差分的平均值。令Si为平均亮度的平均二次差分,则(4)据所得阵列,记下峰点、陡变斜率和过零点,以寻求边缘信号的集合。平均过程是把理想的台阶曲线和被噪声模糊的台阶曲线都变换为平滑的台阶曲线；一次差分过程把平滑了的台阶曲线变换为凸缘形曲线；二次差分过程又把凸缘形曲线变换为S形曲线,如正弦曲线一样变化。图9.7(b)至(d)表示出上述边缘处理过程,而图9.7(a)则表示理想的边缘亮度分布。联为-稻草人自动化平均和差分作用能够被综合到一个综合平均过程中去,并通过点扩散函数由输入点特性来确定输出点特性。点扩散函数表示单个孤立点亮度不为。的点在图像中如何扩散其影响。当按输入来确定输出特性时,称输出被点扩散函数所滤波。在实际图像中所用到的点扩散函数必须表示比较多的点的组合,而且点扩散函数必须是二维的。这些计算论证的概要是：联为-稻草人自动化(1)必须用衰减高频点扩散函数对噪声进行滤波处理。选用二维高斯函数要比平均函数好得多。(2)应当用二次差分来对边缘进行定位。高斯滤波器对噪声的抑制作用能够抵消差分过程对噪声增强的影响。(3)用二维高斯滤波后,进行的二次二维差分相当于以形状像墨西哥草帽或宽边草帽的单个点扩散函数来滤波。墨西哥草帽形状是一维情况下尖峰和穿越(peak-and-through)形状在二维情况下的相似物。联为-稻草人自动化(4)一个窄的正高斯点扩散函数加上一个宽的负高斯点扩散函数,能够足够精确地表示出先高斯滤波后差分所对应的二维墨西哥草帽状的点扩散函数,如图9.8所示。(5)用二维高斯点扩散函数来滤波相当于连续以两个一维高斯点扩散函数(一个为垂直方向,另一为水平方向)来滤波。这意味着,高斯滤波是快速的。因此,墨西哥草帽形滤波也可以是快速的。联为-稻草人自动化灵长目动物视网膜特性墨西哥草帽形滤波器与一些了解灵长目动物早期视觉的实验相一致。关键实验如图9.9所示。被试动物注视各种从白色背景前移过的色质(stimuli)。这些色质包括一条窄的黑带、一条宽的黑带以及一个单白一黑边缘。记录探针测定各种神经反应。把此神经反应与据墨西哥形草帽滤波器作出的预计进行比较。联为-稻草人自动化给出比较结果。在图9.10中,(a)表示3个自左向右移动的色质的亮度分布曲线;(b)表示以适当宽度的墨西哥草帽形滤波器对所给出的亮度分布进行滤波的结果；(c)为所谓X神经节细胞上记录的实验数据。比较图9.10(b)和(c)可见,两者极其相似。这表明灵长目动物的视网膜确实进行了某些与墨西哥草帽形滤波器十分相似的处理工作。如果对墨西哥草帽形滤波器稍加修改,就能够改善相似性,如图9.10(d)所示。联为-稻草人自动化比较结果得到的高度相似性,使我们有足够的根据作出下列假设：(1)灵长目动物视网膜所进行的滤波处理功能在运算上与由墨西哥草帽形点扩散函数所进行的滤波相似。(2)存在有两种视网膜细胞,一种用于传输滤波图像的正向部分,另一种传递滤波匾像的负向部分。(3)对于每种细胞,墨西哥草帽形滤波器是通过激发与禁止这两种操作的组合来实现的。这个滤波器等价于两个以二维高斯滤波器滤波所得图像的差。联为-稻草人自动化物体距离的确定立体视觉由两眼得到的信息来确定距离。由于两眼间的距离是已知的,因而一旦在两眼所得图像中找到了物体的位置,就容易求得观察者到此物体的距离。图9.11表示两眼立体视觉中的相对位置关系。图中,P点为一物体。两个透镜的轴线是平行的。f为两透镜与图像平面的距离,即为其焦距。b为两透镜轴线在基线上的距离,即为两眼的距离。l和r分别为P点与左、右透镜轴的距离。和分别为左右图像与其相应透镜轴线的距离。从两相似三角形,我们可以得下列关系式：联为-稻草人自动化=L+r,代入上式,可求得观察者双眼至物体的距离：由于双眼距离b为已知,焦距f也是确定的,因此,一个物体与双眼的距离和(+)反比。(+)为该点的一幅图像点位置相对于另一幅图像点位置的位移,称为视(disparity)。立体视觉的实际问题就是根据左右两图像找到相应的物体,以便能够测量视差。有许