基于听觉信息的机器人声源定位技术研究

河北工业大学博士学位论文基于听觉信息的机器人声源定位技术研究姓名：吕晓玲申请学位级别：博士专业：机械制造及其自动化指导教师：张明路20100501河北工业大学博士学位论文I基于听觉信息的机器人声源定位技术研究摘要随着世界各国对国家安全、社会治安等公共事业的高度重视，研究在危险环境中代替人类工作的移动机器人，有着重要的理论和实际意义。听觉系统，作为人类感官的重要组成部分，已经成为机器人领域的重要研究对象。由于声音可以绕过障碍物，听觉可以和机器人视觉、嗅觉等感官相配合，弥补其他传感器视场有限且不能穿过非透光障碍物的局限。目前，对于能够实现移动机器人对可疑声源的准确定位、搜索，是应用移动机器人执行危险作业亟待解决的关键问题。本论文在国家863计划项目“极限环境下面向危险品检测的多感官机器人系统”（项目编号：2006AA04Z221）的支持下，利用所研制的多感官拟人机器人系统，对危险声源定位、搜索进行了深入研究。本文的创新性工作包括：1、针对声源定位的实际环境，从信号滤波、利用声音的优先效应、针对环境噪声进行改进、限制互相关函数峰值的搜索范围、多帧加权、根据信噪比动态的调整权重函数的大小等六个方面提出了改进的广义互相关时延估计法，并给出了实际不同环境中的权重函数的昀优取值，有效地改善了低信噪比、混响环境下的时延估计算法的性能，很大程度的提高了基于时延定位算法的精度。2、在研究传声器阵列的基础上，提出了机器人听觉系统模型，构造了拟人听觉系统，该系统有五个传声器组成，其中四个传声器组成的平面阵确定声源空间位置，另外一个传声器辅助完成声源位于机器人前后方的判断。实验证明，所设计的声源定位系统，运算量小，实时性好，具有良好的实际应用的价值。3、提出并设计了基于行为控制的声源搜索实现方案。融合机器人听觉和超声避障的自主声源搜索策略按优先级分成三个模块：声源确认、超声避障、声源定位搜索，通过优先级的判断确定当前执行模块。系统在室内环境下测试，实验结果证明机器人可以定位声源并且可以绕过障碍物接近并确认声源，结果证明该方法具有良好的实时性和有效性。4、借鉴人类综合利用听觉和视觉感官功能进行声源搜索的方法，提出了一种融合听觉、视觉信息的机器人声源定位搜索策略。设计了基于多层黑板模型的机器人声源定位搜索系统，通过声源定位搜寻黑板和声源确认黑板完成机器人声源搜索。通过实验验证了该基于听觉信息的机器人声源定位技术研究II策略具有昀高的效率和成功率，具有较强的环境适应能力。关键词：拟人机器人，听觉，立体视觉，声源定位，信息融合，搜索策略河北工业大学博士学位论文IIIRESEARCHONROBOTSOUNDSOURCELOCALIZATIONTECHNIQUEBASEDONAUDITORYINFORMATIONABSTRACTAsgreaterandgreaterimportanceisattachedtothepublicutilitiessuchasnationalsecurityandpublicorder,theresearchonthemobilerobotthatcanreplacehumanbeingsinthedangerousenvironmentsisofgreattheoreticalandpracticalsignificance.Auditorysystem,asanimportantsensecomponentofhuman,hasbecomeanimportantresearchsubject.Asthesoundcanbypassthebarrier,auditorysystemcanco-operatewiththeothersense,suchasrobotvision、olfactionandsoon.Itcanmakeupfortheothersense’slimitedfieldthatcannotpassthroughnon-transparentbarrier.Atpresent,inordertomakemobilerobotdothedangerousworkforhumanbeings,thekeyproblemtobeurgentlysolvedishowtorealizethemobilerobot’saccuratelocalizeandsearchthesuspicioussoundsource.ThispaperissupportedbytheHi-techResearchandDevelopmentProgramofChina--theMulti-SensoryRobotSystemofDetectingDangerousGoodsinExtremeEnvironments(No.2006AA04Z221).Itcombinesthemulti-sensoryhumanoidrobotsystem,andmakesadeepresearchintothesoundsourcelocalizationandsearching.Thispapercoversthefollowingoriginalpoints:1.Accordingtherealenvironmentofsoundsourcelocalization,modifiedgeneralizedcrosscorrelationtimedelayestimationmethodisproposedfromsixparts:soundsignalfiltering;usingsoundpriorityeffect;improvingaccordingenvironmentnoise;reducingthesearchregionaccordingtothedistancesofmicrophones;moreframesweighting;adjustingtheweightfactordynamicallyaccordingtosignalnoiseratio.Optimalizingweightfactorvaluesunderdifferentenvironmentsaregiven.Thisalgorithmhasbetterperformanceinreverberateandlowsignal-to-noiseratio(SNR)condition,andtimedelaylocalizationprecisionisimprovedlargely.2.Onthisbasisofresearchonmicrophonearray,robotauditorysystemmodelisproposed,humanoidauditorysystemispresented,thesystemiscomposedofafivemicrophonearray,soundsourcepositioninspaceiscalculatedbytheplanararrayoffourmicrophones,andanothermicrophoneisusedasanauxiliaryunittojudgethesourceinfrontorrearoftherobot.Throughexperiments,therobotsystemisprovedtohavebetterpracticalvalueforitslowcomputation基于听觉信息的机器人声源定位技术研究IVcostandgoodreal-timeproperty.3.Soundsourcesearchingproposalisproposedanddesignedbasedonbehaviorcontrol.Theautonomoussoundsourcesearchstrategycomposedofrobothearingandultrasonicobstacleavoidanceisdividedintothreemodules:sourceconfirm,ultrasonicobstacleavoidance,soundsourcesearch,currentexecutingmoduleisdeterminedthroughthepriorityjudgment.Thesystemwastestedinroomenvironment,experimentresultsshowthattherobotiscapableoflocalizingsoundsource,approachingandconfirmingitwithoutcollision.Themethodisprovedtohavegoodreal-timepropertyandvalidity.4.Consideringtheexperienceofhumanbeingswhomakeuseofhearingandvisionsensetosearchsoundsource,astrategytolocateandsearchthesoundsourcebyfusingtheauditoryandvisualinformationisproposed.Acontrolsystemoftherobotsoundsourcesearchingonthebasisofmulti-blackboardmodelisdesigned.Throughsoundsourcesearchingandconfirmingblackboard,thecontrolsystemcanrealizethesoundsourcesearching.Throughexperiments,thisstrategyisprovedtobeefficient,successfulandsuitabletoadjusttotheenvironment.KEYWORDS：Humanoidrobot,Auditory,Stereovision,Soundsourcelocalization,Informationfusion,Searchingstrategy河北工业大学博士学位论文1第一章绪论§1-1课题研究的背景与意义随着各国对国家安全、社会治安等公共事业的高度重视，以防暴、反恐、排险救援等为功能特征的危险作业机器人的需求日益凸现[1-3]。危险作业机器人作为面向复杂应用环境的智能个体，面临着一个多模式信息的世界，机器人面对各种应用环境都应该能获取相应的信息并实时进行处理，这样才能使其根据实际工作环境的实时变化做出相应的决策。因此，有必要开发研究机器人新型的感知系统，使其具有更广泛的应用范围、更好的性能，这也是机器人向智能化发展的重要手段之一。机器人视觉技术的发展大大地增加了机器人的应用范围，提高了机器人的工作效率。但在光线条件较暗或者障碍物阻挡的情况下，视觉感知系统就会失去效应，视觉感知系统受视线和能见度的影响很大。在这种情况下，听觉作为人类感官的重要组成部分，为机器人的研究提供了新思路。危险作业机器人的视觉系统、听觉系统、嗅觉系统、触觉系统的研究以及感知系统的信息融合技术一直是近几年研究的热点[4-5]。本课题主要是对极限环境中机器人听觉定位技术进行研究。听觉可以在机器人多信息采集系统中，与机器人其他的感官相配合，如视觉、嗅觉，这样可以弥补其他传感系统视场有限且不能穿过非透光障碍物的局限。信息的融合使机器人在弱光，甚至黑暗环境中都可以对声源进行定位和识别。同时，对人类听觉系统的模拟和研究，表明了人类对于其自身听觉生理能力的探知程度，是人类对于自身的求索和发展。本课题来源于“国家863的项目”，该项目要研制出一套极限环境下面向危险品检测的多感官机器人系统，拟研究一种基于听觉信息的机器人声源定位搜索技术，该听觉技术应用到移动机器人上，代替人类完成一些危险的工作，如在特殊环境中进行保安巡逻、搜寻并跟踪特定声源目标、获取与所跟踪