智能无人驾驶车辆听觉能力研究

智能无人驾驶车辆听觉能力研究王朝民，谢湘，匡镜明北京理工大学信息与电子学院，北京，中国，邮编[e-mail],[e-mail],[e-mail]【摘要】“智能车未来挑战”赛使无人驾驶车辆技术的研究更加深入，更加实用化，如同美国的DARPA所起到的平台作用一样。听觉作为人类信息获取的重要途径，近来在无人车领域引起了高度的重视。本文就是针对无人车的听觉能力设计开展研究工作。首先是对智能无人车的听觉做出一个科学合理的定义，在此基础上对无人车的听觉能力进行阐释；然后讨论了无人车听觉研究所使用到的关键技术，如声源定位、音频识别、语音识别与理解、软件无线电等；昀后对智能无人车听觉能力测试考评提出了建议方案。【关键词】智能无人车；听觉能力；测试考评Researchonintelligentunmannedvehicle’sauditoryWangChaomin,XieXiang,KuangJingmingSchoolofInformationandElectronics,BeijingInstituteofTechnology,Beijing,[e-mail],[e-mail],[e-mail]:TheFutureChallenge:IntelligentVehiclesandBeyondmakestheresearchofunmannedvehicletechnologydeeperandmorepractical,astheplatformroleofAmericanDARPA.Asthehumanauditoryisoneoftheimportantmeansofinformationacquisition,ithasbeenregardedseriouslyinthefieldofunmannedvehicle.Inthispapermainlywestudytheauditoryabilityofunmannedvehicle.Firstwedefinetheauditoryofintelligentvehiclescientificallyandreasonably,onthatbasistheauditoryabilityofintelligentunmannedvehicleisexpatiated;Andthenwediscussthekeytechnologyoftheauditoryresearchofunmannedvehicle,suchassoundlocalization,audiorecognition,speechrecognitionandunderstanding,softwareradio,etc.;Atlastweputforwardapropositionalblueprintontestevaluationofintelligentunmannedvehicle’theauditoryability.Keywords:intelligentunmannedvehicle;auditoryability;evaluationprogram1引言无人驾驶车辆逐步成为重要的视听觉信息计算的实验及技术展示平台。随着美国DARPA及国内的“智能车未来挑战”比赛的相继开展并迅速发展，针对于无人驾驶车辆的研究得以不断的深入。听觉作为重要的信息获取手段，能够让无人驾驶车辆进一步提高对外部环境的感知能力，获取更多外部信息，以对实时路况及驾驶情况做出更加及时有效的判断。无人车的研究已经有20多年的历史，它昀早起源于军事研究领域，2004年DARPA举办的无人车挑战赛中，13支参加决赛的车辆没有一辆能够到达终点，2005年的比赛中，共有五只参赛车辆到达终点[1]。德国军方于2006年在德国也组织了类似的比赛ELROB(EuropeanLand-RobotTrial)，共有来自5个国家的20支队伍参赛[2]。我国在“八五”、“九五”、“十五”国防重点预研中也一直在资助无人车方面的研究工作。比较知名的无人车系统如德国联邦国防大学的VaMP系统，该系统使用视觉系统检测道路和障碍物，进行了从德国慕尼黑到丹麦欧登塞的长距离实验[3]。美国CMU大学的NavLab-5系统，该系统使用RALPH视觉系统进行导航，进行了横穿美国的实验，全程4587公里，其中自动驾驶98.2%，全程平均速度为102.72km/h[4]。清华大学的THMR-V系统，该系统是我国第一辆智能车，在2003年进行了视觉导航实验，车道线自动跟踪平均时速100km/h，昀高时速150km/h[5]。还有如西安交通大学的Springrobot智能车[6]等。目前这些系统大部分都采用视觉导航，而听觉能力相对滞后，有的智能无人车甚至是“聋子”。然而实验经验告诉我们，在现实行车环境中有许多的声音（如喇叭、警笛）携带着重要的信息，需要智能无人车有所感知甚至做出反应。而这些声音中的信息往往是无法只通过视觉获得的，这就需要无人车的听觉系统发挥其作用。智能无人车的听觉研究，与它的视获国家自然科学基金重点项目《无人驾驶车辆智能行为综合测试环境设计与测评体系研究》资助，项目编号：90920304。觉相比，仍然是处在初期阶段，近些年来已经成为智能无人车研究领域的重要课题。2无人车听觉定义如今，无人驾驶车辆已经不再只是“省略”了驾驶员的一辆“车”，而是一个机动的无人平台，它需要深入我们未知的环境感知信息、分析信息甚至做出决策，它不单是一个智能无人驾驶的交通工具，还是一个可以执行任务的智能体，是一个极具机动能力的智能机器人。人的听觉系统可以让我们通过耳朵来感知声波中的音频信息，也可以通过通信设备（电台、移动电话等）将电磁波承载的音频提取出来加以感知，因此人的听觉能力从广义上讲是包含了对声波的直接感知及借助仪器设备对电磁波的间接感知，图1所示为听觉的广义听域。图1广义听域日常生活中，驾驶员的听觉功能主要有：听车内的人员谈话、发动机声音、报警声音、电台广播、手机短信及电话，听车外的喇叭声、警笛声、人员呼叫及其他一些有用的意外声响。我们认为，智能无人驾驶车辆的“听觉”应当具有类似人类的听觉功能并甚至有所超越。因此智能无人驾驶车辆不但能够感知车体内部及外部的声音信息，还可以通过车载电台、手机、网络终端等通信工具来感知电磁波承载的音频信息。相当于给智能车装上了“两类耳朵”，一类是由麦克风来听“音频”，一类是通过电台、手机、网络终端来“听”电磁波中的音频信息。3无人车听觉能力设计面向长远的智能无人车发展需求，我们根据智能无人车的听觉定义，将智能无人车的听觉感知能力按照相对于汽车车身范围的区域设计为三类，分别为个域感知、局域感知及广域感知，如图2。图2智能无人车听觉感知区域1）听觉个域感知：指智能无人车“听”车厢内部的各种声音，能感知车内的异常声音。无人车应能通过录音的方式将车厢内部在行驶过程中的声响全部保存，供车辆发生意外或破坏性事件发生时查找原因时使用，类似于飞机上的黑匣子功能；也可以通过实时监控发动机的声音来判定发动机等不见的运行情况。2）听觉局域感知：指智能无人车对车体外围驾驶环境相关的声音进行记录及感知、响应。感知能力主要有：无论无人车行进还是停止，可以判断周边声音的响度及方位，辨识周围特殊声音，如鸣笛声、警笛声，并根据声源做出反应（如主动让道）；能够是别车外特定的语音指令并做出反应（如完成停车动作）。听觉的局域感知能够使车辆在行驶过程中掌握车体附近及周边道路的声学环境信息，使无人驾驶车辆能够对更多的信息源进行处理。而语音识别的能力则使车辆能够按照人的指令完成原本需要人亲自完成的动作，降低了人类操作的复杂度，提供友好的人机交互能力。3）听觉广域感知：指智能无人车对无线通信系统（如无线短波电台、广播、移动电话、对讲机、卫星广播等）承载的音频信息进行感知。感知能力体现在：通过对广域信息的监听与理解，了解昀新的道路信息等广播信息，为智能无人车的路径规划提供参考信息。对各类通信系统承载的音频信号中特定语种、特定人物、特定内容的检索与记录，对当前未知环境建立背景知识，锁定敏感信息。由此我们对智能无人驾驶车辆的听觉感知能力做了系统的设计。具体的感知能力如表1所示。表1智能无人车听觉感知能力感知范围感知内容感知能力个域感知车内声音发动机异常声音检测车内声音记录局域感知车外特征声音及异常声音、特定语音指令车外声音记录行驶及停止，车外声音方位感知行驶中，辨识车附近鸣笛声和警笛声识别车内、车外人员的语音指令广域感知无线电通信系统承载的音频内容可接收常用无线通信系统信号语音关键词识别语种识别说话人识别音频内容检索4关键技术要实现真正意义上的智能无人车听觉能力，需要多个关键技术的融合，目前来看，智能无人车主要涉及到四个方面的关键技术。4.1声源定位技术智能无人驾驶车辆在未知的环境中执行任务，对无人车周边声学环境信息的感知很重要的一点就是对声源的定位。基于声源定位信息，智能无人车可以做出相应的方位反应（如避让声源方向的车辆），而且还有利于对特定方向的声音进行增强。声源定位一般会通过麦克风阵列采集声音，并通过阵列信号处理来实现。基于麦克风阵列的声源定位方法，按照定位原理大体可分为三大类[7]：基于昀大输出功率的可控波束形成技术、基于高分辨率谱估计的定位技术及基于声达时间差(timedifferenceofarri-val,TDOA)的定位技术。基于可控波束的定位算法，是早期的一种定位方法，其采用波束形成技术，调节麦克风阵列的接收方向，在整个接收空间内扫描，能量昀大的方位为声源的方位。基于可控波束形成的定位算法，主要分为延迟累加波束算法和自适应波束算法。前者运算量较小，信号失真小，但抗噪性能差，需要较多的阵元才有比较好的效果。后者因为加了自适应滤波，所以运算量比较大，而且输出信号有一定程度的失真，但需要的麦克风数目相对较少，在没有混响时有比较好的效果。波束形成技术己经广泛应用于基于麦克风阵列的语音拾取领域，但要达到稳健有效的声源定位还十分困难。这主要是由于该方法需要进行全局搜索，运算量极大，很难实时实现，限制了该类算法的应用范围[8]。基于子空间技术的声源定位算法，来源于现代高分辨率谱估计技术。阵列信号处理昀主要的任务之一，是信号的波达方向(DOA，DirectionofArrival)估计，也称为方向估计(bearingestimation)、角度估计(angleestimation)、测向(directionfinding)或空间谱估计/超(高)分辨谱估计。昀早的DOA估计算法，为常规波束形成法，该方法不能突破瑞利限的限制，即对一个波束宽度内的空间目标不可分辨。由于空间信号的方向估计与时间信号的频率估计十分相似，许多时域非线性谱估计方法可以推广成为空域谱估计方法。这类基于线性预测理论的高分辨谱估计方法主要有：谐波分析法[9]、昀大熵法[10](MEM)、昀小方差法[11](MVM)。这类算法假定，信号源在空间是连续分布的，且信号是空间平稳的随机过程，这种假设限制了这类算法的应用环境。特征子空间类算法，是现代谱估计昀重要的算法之一，通过对阵列接收数据作数学分解，划分为两个相互正交的子空间：与信号源的阵列流形空间一致的信号子空间，和与信号子空间正交的噪声子空间。子空间分解类算法从处理方式上可分为两类：一类是以MUSIC为代表的噪声子空间类算法，另一类是以旋转不变子空间(ESPRIT)为代表的信号子空间类算法。以MUSIC为代表的算法包括特征矢量法、MUSIC、求根MUSIC法及MNM等。以ESPRIT为代表的算法主要有TAM、LS-ESPRIT及TLS-ESPRIT等。与子空间分解类算法不同的另外一类算法，为子空间拟合类算法，其中，比较有代表性的有:昀大似然算法(ML)、加权子空间拟合(WSF)