康复工程导论

《康复工程导论》第六讲脑-机接口技术王珏教授、博士生导师西安交通大学生命科学与技术学院2009.6学习要点„什么是脑机接口？„脑机接口技术的发展简史„脑机接口中的关键技术„行为意识分类„脑机接口技术的应用举例„游戏训练大脑„注意障碍伴多动症儿童的康复训练脑机接口技术„脑机接口(Brain-ComputerInterface，BCI)„一种不依赖于大脑外周神经与肌肉正常通道的通讯与控制系统。它通过采集和分析脑电信息，在人脑与计算机或其他电子设备之间建立起直接交流或控制通道。使人能通过想象而不是通过语言来表达意愿或通过肢体动作来操纵设备。几个重要脑波的特征（1）•α波：频率为8-13Hz，振幅为20-100μV；清醒、放松、安静、闭目时出现，睁眼、思考问题或接受其它刺激时消失；•β波：频率为15-35Hz，振幅5-20μV；安静、闭目时只在额叶出现；睁眼视物或接受其它刺激时，在其它皮层部位也出现，表示大脑皮层兴奋；•θ波：频率为4-7Hz，振幅为100-150μV；困倦时出现，是中枢神经系统抑制状态的表现；•P300：一种潜伏期较长的视觉诱发电位正波，其峰值在刺激产生后的300毫秒左右达到最大几个重要脑波的特征（2）•μ节律（μrhythm）：8-12Hz自发脑电的中位频率（10Hz），与感觉运动皮层神经电活动有关；•感觉运动节律（SensoryMotorRhythm，SMR）：频率为13-15Hz，肌肉放松和注意力集中时出现于感觉运动区，与运动抑制有关；•事件相关电位（EventsRelatedPotentials,ERP’s）：直接从人的头皮表面记录的与一定刺激相关的反映认知过程脑功能变化的生理指标，在大脑活动如注意和认知过程发生前的短暂时间里出现。BCI使用的脑电信号类型及其特征脑机接口技术发展简史(1)„用自发EEG进行动作训练„利用α节律来传递摩尔斯码(Dewan,1967,USA)„利用μ节律控制光标的移动(McFarland,Wolpaw,1993，USA)„运动相关EEG模式识别„利用μ节律的ERPs实现二维光标移动(Pfurtscheller,1992~1994,Austrilia)脑机接口技术发展简史(2)„利用稳态视觉诱发电位VEP的自调节和有意识地调节EEG中反映外界刺激分量(McMillan,Calhoun,1995,USA)„控制模拟飞行器的滚动„控制人膝盖弯曲的动作„利用P300电位分析人的意向,如：P300ERP虚拟打字机(Farwell,Donchin,1988，USA),„利用脑电生物反馈，比较θ/β波的比值，治疗儿童注意力缺陷和多动症(USA，2000)„猴子用自发脑意念控制计算机光标移动（2005）„人用脑意念控制假手指关节的弯曲动作（2006）脑机接口技术发展简史(3)„国内在脑科学的研究已经起步，如：„清华大学无创提取脑诱发信息实现对环境设备的控制„西安交通大学在脑神经科学的认知、感觉、脑功能成像及信息融合、脑疾病的电生理信息定征等方面，已进行有特色的研究，并取得了一定的进展。21345678脑机接口技术发展简史(4)——清华大学无创提取脑诱发信息脑机接口技术发展简史(5)——西安交通大学神经电生理实验室脑机接口技术发展简史(6)„尚待探讨和亟待解决的问题„应用BCI技术直接无创提取脑行为意识信息，BCI系统算法的自适应能力，通讯速度等；„行为意识提取中的多源信息融合及定征技术；„情感对学习和行为意识的作用机制；„脑科学时代的到来„上世纪末美、欧、澳和日本均发动了庞大的“脑十年”研究计划；„中国香山会议以后，正在积极跟进国际研究前沿。脑机接口技术的应用(1)„辅助技术装置„环境控制„假体（假肢、假手）的控制„肌萎缩性脊髓侧索硬化的患者恢复拼写能力„脑电生物信息反馈训练BCI中的关键技术研究复杂意识任务分类用于恢复功能障碍者的运动控制功能、环境控制功能和言语交流功能脑电信息反馈+虚拟现实技术针对多动症和其他精神卫生障碍患者引起他们的兴趣、想象力，以进行交互训练治疗辅助技术脑电信息反馈系统典型的脑机接口系统„受试者(产生控制信息)„采集受试者脑电„信号预处理„特征信息提取„行为意识信息分类„应用界面„(送出控制信息)„用于拼写装置控制、神„经假体控制、轮椅控制„等„执行信息反馈„意义•不会导致疲劳•设计简单、灵活„控制信息•外界刺激；•意识任务；„BCI中意识任务的使用•选定意识任务-提取特征-进行分类处理；•确定脑电信号特征-选择意识任务BCI与行为意识任务分类„研究现状：„事件相关电位（Event-relatedpotentials，ERP’s，如：P300），(Illinois:Farwell)(信道容量：0.2bits/sec；精确率＞95%）„稳态视觉诱发电位（Steadystatevisualevokedpotential,SSVEP），(Tsinghua,Gao)（信道容量：0.4525bits/sec）意识任务分类（1）„研究现状：„自主选择的运动相关意识任务：依赖于反馈训练（μrhythm），(纽约Wadsworth中心：Wolpaw)（信道容量：0.125-0.9bits/sec,精确率:70-75%）„确定的运动相关意识任务，需要反馈训练(μrhythm,β)(Austria:GrazUniversity,Pfurtscheller，Millan)„确定的非运动相关意识任务，不需要反馈训练，依赖于受试者的程度相对来说比较小(5operatingstates)(Anderson,Keirn)意识任务分类（2）„想象单侧手运动时，人脑对侧特定频段EEG幅值明显降低,这种现象被称为事件相关去同步ERD(event-relatedEEGdesynchronization)；而同侧脑区EEG幅度增加,称为事件相关同步ERS(event-relatedsynchronization)。„基于ERD/ERS现象，想象左右手运动意识任务容易可分。BCI(Braincomputerinterface)的一个重要应用就是将其应用以运动意识信息为指导的功能性电刺激。„利用线性、非线性、多通道描述参数，从不同角度定性、定量分析运动相关脑电的动态变化，全面揭示并反映ERD/ERS时程变化，为进一步BCI应用中选取有效脑电特征用于运动意识任务分类提供理论依据。运动相关脑电分析及其在BCI中的应用运动相关脑电的定量分析„运动相关脑电的时频能量分析（匹配跟踪：MatchingPursuit，MP）„非线性参数量化运动相关脑电时程（复杂度分析(KC）和功率谱熵（FSE））„多通道线性描述参数分析运动相关脑电（空间复杂度、场强、场强的变化频率）运动相关脑电的时频能量分析（方法：匹配追踪MP:Matchingpursuit）想象左手运动想象右手运动C34C非线性参数量化运动相关脑电时程(KC:KolmogorovComplexityandFSE:FourierSpectralEntropy)KC复杂度量化ERDFSE量化ERD想象左手运动想象右手运动多通道线性描述参数分析运动相关脑电空间复杂度时程想象左手运动想象右手运动有效场强时程场强变化率时程基于不同EEG特色的分类结果分类精度时程互信息时程KCandFFTMVARMulti-channellineardescriptors0.61340.50840.5109特征向量最大分类正确率%最大互信息量(bit)MVAR提取能量特征KC复杂度+FFT多通道线性参数88.57%86.43%90.00%选择不同脑电特征的分类结果比较支持向量机(SVM)及其在脑电模式识别中的应用•支持向量机(SVM)应用分类三种意识任务¾受试者(4人)执行三种不同脑意识任务™放松休息状态;™数学运算任务;™想象三维物体空间旋转¾记录6个电极(C3、C4、F3、F4、P3、P4、O3、O4）的脑电C34CP34PO12O102030400.50.60.70.80.9ClassificationAccuracies(a)Subject1102030400.50.60.70.80.9(b)Subject2102030400.50.60.70.80.9ClassificationAccuraciesDimensions(c)Subject3102030400.50.60.70.80.9Dimensions(d)Subject44个受试者三种意识任务的分类结果﹡线性主分量分析+径向基函数（LPCA+RBF）径向基函数（RBF）•分类精度分别是85.6%、74.5%、75.9%和78.3%•4个受试者的平均分类精度是78.6%核主分量分析+优化核参数支持向量机（KPCA+OKPSVM）核主分量分析+径向基函数KPCA+RBF五任务分类„7名男性、年龄在22-26岁之间的受试者„五类意识任务1.乘法运算（multiplication）2.想象三维物体旋转（rotation）3.休息状态（baseline）4.写信（letter-composing）5.数数（counting）„每次试验记录70s„每一组试验包含5次试验„操作程序:每一星期进行1组试验，并在1天内执行完毕5项任务，各任务之间休息2分钟，加之试验准备（佩戴电极帽、处理电极等），一次试验约需1小时试验„8通道(F3,F4,C3,C4,P3,P4,O1,O2)„1个特殊通道用于检测眨眼伪迹„0.1-100Hz滤波„1KHz采样C34CF34FP34PO12O(a)休息状态(b)乘法运算(c)写信(e)数数(d)想象三维物体旋转意识任务的时频特性相空间能量分解法的分类结果„分类精度（140对任务数据）„互信息（信道容量）BCI在健康保健中的应用——游戏训练大脑举例1日本东北大学川岛隆太教授认为：•大脑有自己的年龄，与身体无关•他收集了实际年龄在20-70岁之间的大脑测试数据，并由此画出一条曲线•游戏机根据你在多项游戏中的表现计算成绩，从而推算你大脑的年龄•通过游戏训练，大脑可变年轻，最终回到20岁对一些规律性的联系可以改善老年人的推理能力和记忆力。——让益智游戏来训练我们的大脑！先来看一个例子——斯特鲁普测试：阅读以下词汇RedBlueBlackGreenYellowBluePinkRedGreenPinkOrangeRedYellowBlueRed你对了几个？（不少人的测试结果可能是处于退休年龄）各种训练——速算，计算，数人数，凭借记忆画出图像等等一周后的结果：你可以毫不费力的记住十位的号码看一幅图，然后根据记忆画出来——训练前额叶皮层。当大脑在思考、计算题目时，手在写上一题的答案。短时记忆的训练——聪明的关键„短时记忆是很多智力障碍病患的症结所在。„短时记忆训练举例。„你看到一串不同颜色的盒子。„你听到背景节奏，并根据节奏敲击5次„然后回忆盒子的颜色顺序。„游戏的设计遵从心理学家，视觉治疗专家的建议并不断更新。游戏中设计有大量的鼓励语句，契合儿童的心理。大脑体操----一种促进特殊儿童智力开发的方法举例2什么是大脑体操？„大脑体操是通过生物反馈的方法进行学习的一种策略。„1960s,USA开始研究从脑电中提取特征信息„情感、行为等操作性条件刺激„人-机-环境交互的学习理论„集中注意力，增强记忆„特点：属非药理性的治疗过程，非侵入、无损伤、无痛苦和毒副作用，效果持久，更加安全有效大脑体操有什么用处？„心理生理疾病/身心障碍：糖尿病、偏头痛、原发性高血压、心律失常、支气管哮喘、消化性溃疡„儿童注意力缺陷伴多动症(Attentiondeficithyperactivitydisorder,ADHD)„神经症：恐怖症、强迫症、社交焦虑等„癫痫„失眠定义„注意缺陷障碍（AttentionDeficitDisorder）：由于注意力集中的能力有限，难于维持片刻的注意力，并呈现冲动行为„注意力不集中（Inattention）：难于将注意力集中在一个特殊的任务上；„多动症（Hyperactivity）：难于抑制多动的行为。„冲动