嵌入式多模态人机交互智能轮椅

序号：编码：第十一届“挑战杯”大学生课外学术科技作品竞赛作品申报书作品名称：嵌入式多模态人机交互智能轮椅学校全称：南昌大学申报者姓名（集体名称）：夏嘉廷范冰飞吴松林程鸣类别：□自然科学类学术论文□哲学社会科学类社会调查报告和学术论文科技发明制作A类□科技发明制作B类报送方式：□省级报送作品□高校直送作品说明1．申报者应在认真阅读此说明各项内容后按要求详细填写。2．申报者在填写申报作品情况时只需根据个人项目或集体项目填写A1或A2表，根据作品类别（自然科学类学术论文、哲学社会科学类社会调查报告和学术论文、科技发明制作）分别填写B1、B2或B3表。所有申报者可根据情况填写C表。3．表内项目填写时一律用钢笔或打印，字迹要端正、清楚，此申报书可复制。4．序号、编码由第十一届“挑战杯”全国大学生课外学术科技作品竞赛江西赛区组委会办公室填写。5．学术论文、社会调查报告及所附的有关材料必须是中文（若是外文，请附中文本），请以4号楷体打印在A4纸上，附于申报书后，字数在8000字左右（文章版面尺寸14.5×22cm）。6．各高校应按照赣青联发〔2009〕8号文件中规定的“作品数额分配方案”统一申报作品，每件作品一式五份，并按组委会规定的时间用特快专递寄至或直接送至省组委会办公室。7．其他参赛事宜请向团省委学校部或南昌工程学院团委咨询。8．作品寄送地址：南昌市天祥大道289号南昌工程学院团委第十一届“挑战杯”中国大学生课外学术科技作品竞赛组委江西赛区会办公室联系人：夏志红、赵丽芬联系电话：0791—2086213传真：0791—8126683邮政编码：330099A2申报者情况（集体项目）说明：1．必须由申报者本人按要求填写；2．申报者代表必须是作者中学历最高者，其余作者按学历高低排列；3．本表中的学籍管理部门签章视为申报者情况的确认。申报者代表情况姓名夏嘉廷（5901205093）性别男出生年月1985-3-27学校南昌大学系别、专业、年级机电工程学院机制054班学历在读本科学制4年入学时间2005-9作品名称嵌入式多模态人机交互智能轮椅毕业论文题目基于430单片机的微型机器人遥操作控制研究分析通讯地址江西省南昌市红谷滩新区学府大道999号南昌大学前湖校区27栋1123室邮政编码330031办公电话[phone]常住地通讯地址江西省南昌市红谷滩新区学府大道999号南昌大学前湖校区27栋1123室邮政编码330031住宅电话[phone]其他作者情况姓名性别年龄学历所在单位范冰飞(5901105028)男22本科南昌大学机电工程学院吴松林(5902105045)男22本科南昌大学机电工程学院程鸣(5902405002)女21本科南昌大学机电工程学院资格认定学校学籍管理部门意见以上作者是否为2009年7月1日前正式注册在校的全日制非成人教育、非在职的高等学校中国籍专科生、本科生、硕士研究生或博士研究生。□是□否（部门签章）年月日院、系负责人或导师意见本作品是否为课外学术科技或社会实践活动成果□是□否负责人签名：年月日B3．申报作品情况（科技发明制作）说明：1．必须由申报者本人填写；2．本部分中的科研管理部门签章视为对申报者所填内容的确认；3．本表必须附有研究报告，并提供图表、曲线、试验数据、原理结构图、外观图（照片）,也可附鉴定证书和应用证书；4．作品分类请按照作品发明点或创新点所在类别填报。作品全称嵌入式多模态人机交互智能轮椅作品分类（A）A．机械与控制（包括机械、仪器仪表、自动化控制、工程、交通、建筑等）B．信息技术（包括计算机、电信、通讯、电子等）C．数理（包括数学、物理、地球与空间科学等）D．生命科学（包括生物、农学、药学、医学、健康、卫生、食品等）E．能源化工（包括能源、材料、石油、化学、化工、生态、环保等）作品设计、发明的目的和基本思路，创新点，技术关键和主要技术指标设计目的为了帮助残疾人和老年人提高自身的生活自理能力和工作能力，使他们更好地融入社会。为了使智能轮椅能够适用于各类用户和使用场所，在基于嵌入式系统（SPCE061A单片机）的基础上，设计并研制了具有手动控制、语音控制、超声波自主导航和视觉自主导航四种功能的多模态人机交互智能轮椅。设计基本思路1）语音控制模态对于轮椅的控制，语音控制无非是最自然、最便捷的控制方式。语音控制模态采用凌阳16位单片机SPCE061A作为系统核心，先通过MIC训练语音命令，提取出特征参数并导入到FLASH中构成语音模型库。识别过程中，利用库函数将待测语音信号与语音模型库中的模型进行相似度比较，识别成功智能轮椅则进行相应的运动。2）超声波自主导航模态超声波自主导航模态采用超声波传感器作为外界信息感知传感器实现轮椅避障控制。超声波由发射端发出，遇到障碍物返回，接收器将超声波信号变成电信号，电信号经过放大、带通滤波和整形后送入SPCE061A。通过测量从发射超声波到接收超声波的间隔时间计算出轮椅到障碍物之间的距离，再采用适当的控制策略来实现轮椅的实时避障。3）视觉自主导航模态视觉自主导航系统由检测系统，控制决策系统和动力系统三个部分组成。整体的流程为:检测系统采集路径信息，经过控制决策系统分析和判断，由动力系统控制直流电机给出合适的转速，从而控制智能轮椅准确、稳定地行驶。4）多模态人机交互智能轮椅在使用过程中，通过将不同的模态融合起来，能够达到更好的实际效果。将超声波自主避障模态融合到其它三种模态当中，轮椅在执行手动控制、语音控制和视觉自主导航这三种模态指令之前能够自动判断轮椅是否能够安全的执行用户给定的指令，并通过语音播报的形式将信息反馈给用户，从而使得智能轮椅的行驶更加安全可靠。同样，将语音播放技术融合到其它三种模态中，轮椅根据自身的状态能够实时的对用户进行语音提示，从而起到更好的人机交互效果。(其中本作品的演示录像、源程序以及其它相关的材料均已刻录在所附的光盘中。)创新点1)语音控制模态快速准确的实现了前进、后退、左转、右转和停止这五个控制指令的识别，并在嵌入式系统的基础上实现了语音的在线训练，新用户只需花上几分钟的时间进行语音训练便可实现对智能轮椅的语音控制。2)超声波自主导航模态能够完成到指定目标的路径规划，实现了智能轮椅的安全避障。3)视觉自主导航模态实现了在室内不同灯光环境下对不同走向和形状的标识线的跟踪。4)将超声波避障和语音播报技术融合到四种模态当中，轮椅能够自动判断是否能够安全地执行用户给定的命令，并通过语音播报的形式将信息反馈给用户。使得智能轮椅人机交互性更强，运行更加安全可靠。5)基于嵌入式系统的智能轮椅控制器较好的解决了基于通用计算机(笔记本电脑或嵌入式工控机)控制器所存在的成本高、功耗大以及续航能力差等问题，这就向智能轮椅的产业化方向迈进了一大步。技术关键1)基于嵌入式系统的多模态人机交互智能轮椅最大的局限性在于系统资源的有限，语音控制模态中五条简单实用的语音控制指令，超声波自主导航模态中适用的控制策略以及视觉自主导航模态中高效的标记线边缘检测算法对智能轮椅的实时控制都起到了极其关键的作用。2)语音识别、超声波避障和视觉导航技术的相互融合，使得智能轮椅人机交互性更强，运行更加安全、稳定可靠。主要技术指标1)载荷负重：110kg；2)续航能力：一次充电续航20km；3)最大安全速度：6km/h；4)越障高度：40mm；5)爬坡能力：15°；6)智能导航方式：全方向控制手柄，语音控制，超声波自主避障，视觉自主导航；7)人机交互方式：操纵杆、键盘和语音三种人机交互方式。作品的科学性先进性（必须说明与现有技术相比、该作品是否具有突出的实质性技术特点和显著进步。请提供技术性分析说明和参考文献资料）目前在欧美、日本等发达国家中一些公司已经研制开发出智能程度高、自主能力强的轮椅机器人产品。例如，美国AetiveMedia公司的Robotscehariot和AppliedAlSystems公司的TAO一7，日本AISIN精机和富士通公司共同研制开发的TAOAicle等。但这些智能轮椅产品基本上采用类似于移动机器人的控制系统，采用通用计算机(笔记本电脑或嵌入式工控机)作为上位机，驱动控制系统、传感器系统作为下位机，产品体积大、结构复杂、整体成本很高。中国科学院自动化研究所研制了一种具有视觉和口令导航功能并能与人进行语音交互的机器人轮椅。在轮椅的设计中综合运用有关图像处理、计算机视觉和语音识别等成果，使人能通过语音控制轮椅自由行走，轮椅可以实现简单的人机对话功能。上海交通大学开发成功一种声控轮椅，主要是为四肢全部丧失功能的残疾者设计，使用者只需发出“开”、“前”、“后”、“左”、“右”、“快”、“慢”、“停”等指令，轮椅可在1.2秒内响应指令。本文设计并研制了具有手动控制、语音控制、超声波自主导航和视觉自主导航四种功能的多模态人机交互智能轮椅。用户不仅可以选择常规的手动控制模态，通过操作杆控制轮椅运动，还可以在语音控制模态下口头输入命令控制轮椅运动。超声波自主导航模态能够完成到指定目标的路径规划和移动。视觉自主导航模态实现了在室内不同灯光环境下对不同走向和形状标识线的视觉跟踪。同时，将超声波避障和语音播报技术融合到四种模态当中，轮椅能够自动判断是否能够安全地执行用户给定的命令，并通过语音播报的形式将信息反馈给用户。使得智能轮椅人机交互性更强，运行更加安全、稳定可靠。并且该智能轮椅控制器与其它电动轮椅控制器相比，成本增加不多。因此，我们完全可以相信，在不远的将来，不同类型的智能轮椅将进入普通家庭，智能轮椅将不再是少数人才能用得起的奢侈品。参考文献[1]原魁.智能轮椅技术发展现状.机器人技术与应用，第一届北京国际康复医学论坛论文集2006年.[2]徐国华，谭民.移动机器人的发展现状及其趋势.机器人技术与应用，2001,3:5-16.[3]邓旭玥,王伟,易建强.移动机器人导航研究现状及其发展趋势展望.机电工程，2004.[4]李庆中，顾伟康，叶秀清.基于遗传算法的移动机器人动态避障路径规划方法.模式识别与人土智能,2002,15(2):161-166.[5]刘风然，田红芳，王侃.基于单片机的移动机器人自动避障控制系统.中国仪器仪表，2001,3:27-29.[6]O.HORNandA.COURCELLE，InterpretationofUltrasonicReadingsforAutonomousRobotLocalization，JournalofIntelligentandRoboticSystems39:265–285,2004.[7]贾莉娜.高精度的超声波测距系统在移动机器人导航方面的应用.计量与测试技术，2004:23-26.[8]曹玉华，超声测距系统设计及其在机器人模糊避障中的应用，中国海洋大学硕士学位论文，2007，06.[9]王炎、周大威，移动式服务机器人的发展现状及我们的研究，哈尔滨工业大学电气传动，2000，第四期.[10]郑利君，动机器人路径规划和避障算法的研究，浙江理工大学学位论文，07，03-26.[11]徐国华，谭民.移动机器人的发展现状及其趋势.机器人技术与应用，2001,3:5-16[12]邓旭玥,王伟,易建强.移动机器人导航研究现状及其发展趋势展望.机电工程，2004.[13]李庆中，顾伟康，叶秀清.基于遗传算法的移动机器人动态避障路径规划方法.模式识别与人土智能,2002,15(2):161-166[14]刘风然，田红芳，王侃.基于单片机的移动机器人自动避障控制系统.中国仪器仪表，2001,3:27-29[15]贾莉娜.高精度的超声波测距系统在移动机器人导航方面的应用.计量与测试技术，2004:23-26.[16]杨晶东,黄庆成,洪炳镕.双足足球机器人实时避障导航系统研究[J].机器人,2005,27(6):530～534.[17]高庆吉,洪炳熔,阮玉峰.基于异构双目视觉的全自主足球机器人导航[J].哈尔滨工业大学学报,2003,35(9):1029～1032.[19]谭定忠,王启明,李金山等.一种光电式机器人路标的研究[J].机