搜索
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号(43)申请公布日(21)申请号201910218660.X(22)申请日2019.03.21(71)申请人西安交通大学地址710049陕西省西安市咸宁西路28号(72)发明人陈霸东 黄大维 任鹏举 王飞 袁泽剑 郑南宁 (74)专利代理机构西安通大专利代理有限责任公司61200代理人徐文权(51)Int.Cl.A61B5/0488(2006.01)A61B5/00(2006.01)(54)发明名称一种基于CNN和LSTM的表面肌电信号分类方法(57)摘要本发明公开了一种基于CNN和LSTM的表面肌电信号分类方法，使用滑动窗口将时间序列转化成为“数据-标签”对，在每一个时间窗口内，对表面肌电信号应用汉明窗口并使用快速傅里叶变换计算时频谱Spectrogram，将时频谱数据沿时间轴方向叠加整合，并送入卷积神经网络，完成局部空间高位特征提取，得到高维特征，将高维特征沿数据叠加维度展开，恢复为时间序列，并送入长短时记忆网络，提取序列特征，将序列特征送入全连接网络，进行进一步的特征提取和整合，得到充分提取的高维特征，将充分提取的高维特征送入Softmax函数得到最终的分类结果。本发明的核心基于深度学习算法，通过深度特征在传统的手工提取特征之上进行进一步的分析和提取，明显提高了分类解码的精确度。权利要求书1页说明书4页附图2页CN109924977A2019.06.25CN109924977A1.一种基于CNN和LSTM的表面肌电信号分类方法，其特征在于，包括如下步骤：步骤1：使用滑动窗口将时间序列转化成为“数据-标签”对；步骤2：在每一个时间窗口内，对表面肌电信号应用汉明窗口并使用快速傅里叶变换计算时频谱Spectrogram；步骤3：将时频谱数据沿时间轴方向叠加整合，并送入卷积神经网络，完成局部空间高维特征提取，得到高维特征；步骤4：将高维特征沿数据叠加维度展开，恢复为时间序列，并送入长短时记忆网络，提取序列特征；步骤5：将序列特征送入全连接网络，进行特征提取和整合，得到充分提取的高维特征；步骤6：将充分提取的高维特征送入Softmax函数得到最终的分类结果。2.如权利要求1所述一种基于CNN和LSTM的表面肌电信号分类方法，其特征在于，所述步骤2中表面肌电信号来自Ninapro公开数据集。3.如权利要求2所述一种基于CNN和LSTM的表面肌电信号分类方法，其特征在于，所述表面肌电信号包含50种不同手部动作。4.如权利要求3所述一种基于CNN和LSTM的表面肌电信号分类方法，其特征在于，所述50种不同手部动作包含17种基本动作、23种功能性动作、9种发力模式以及1种休息姿势。5.如权利要求1所述一种基于CNN和LSTM的表面肌电信号分类方法，其特征在于，步骤3中卷积神经网络使用ReLU作为激活函数，使用随机梯度下降法对网络参数进行调整，使用交叉熵Cross Entropy作为损失函数，得到高维特征。权 利 要 求 书1/1页2CN109924977A2一种基于CNN和LSTM的表面肌电信号分类方法【技术领域】[0001]本发明属于人机接口和养老助残领域，尤其是一种基于CNN和LSTM的表面肌电信号分类方法。【背景技术】[0002]表面肌电信号是用表面电极在人体皮肤采集的电信号，这种电信号是肌肉运动在肌肉纤维附近产生的电位差。当人体产生运动意图时，该意图产生于大脑，编码于神经信号中传达到脊髓，二次编码后经神经通路传递到对应的肢体(如上肢)，神经信号造成肌肉纤维收缩产生电位差，肌肉牵引骨骼完成该运动。在这个过程中，运动意图最终编码于肌肉纤维收缩产生的电信号里。通过对该信号解码，即可以获得最初的运动意图，从而控制外部的机械。和直接解码脑信号以及神经信号相比，肌肉电信号更接近于动作实施的阶段，包含的信息更精确，信噪比更高，采集更方便。[0003]机器学习是解码表面肌肉电信号的一种主要方法。该方法包含两个阶段：特征提取和在特征空间里的分类。传统的特征提取主要分为时域特征、频域特征和时频域特征，其中时频域特征的效果最好。但是现有的分类方法仅使用传统的手工提取特征，在分类精确度上仍有进一步提高的空间。【发明内容】[0004]本发明的目的在于克服上述现有技术的缺点，提供一种基于CNN和LSTM的表面肌电信号分类方法。以提高表面肌电信号的多分类精度。[0005]为达到上述目的，本发明采用以下技术方案予以实现：[0006]一种基于CNN和LSTM的表面肌电信号分类方法，包括如下步骤：[0007]步骤1：使用滑动窗口将时间序列转化成为“数据-标签”对；[0008]步骤2：在每一个时间窗口内，对表面肌电信号应用汉明窗口并使用快速傅里叶变换计算时频谱Spectrogram；[0009]步骤3：将时频谱数据沿时间轴方向叠加整合，并送入卷积神经网络，完成局部空间高维特征提取，得到高维特征；[0010]步骤4：将高维特征沿数据叠加维度展开，恢复为时间序列，并送入长短时记忆网络，提取序列特征；[0011]步骤5：将序列特征送入全连接网络，进行特征提取和整合，得到充分提取的高维特征；[0012]步骤6：将充分提取的高维特征送入Softmax函数得到最终的分类结果。[0013]本发明进一步的改进在于：[0014]所述步骤2中表面肌电信号来自Ninapro公开数据集。[0015]所述表面肌电信号包含50种不同手部动作。[0016]所述50种不同手部动作包含17种基本动作、23种功能性动作、9种发力模式以及1说 明 书1/4页3CN109924977A3种休息姿势。[0017]步骤3中卷积神经网络使用ReLU作为激活函数，使用随机梯度下降法对网络参数进行调整，使用交叉熵Cross Entropy作为损失函数，得到高维特征。[0018]与现有技术相比，本发明具有以下有益效果：[0019]本发明结合了传统的物理特征提取和神经网络的有点，以充分提取表面肌肉电信号中的有效信息进行手势识别，以卷积神经网络来提取空间信息，以长短时记忆网络来提取序列信息，提升了基于表面肌电信号的多手势识别的精度。通过以表面电极采集的肌肉电信号(表面肌电sEMG)作为输入，使用传统手工提取特征作为预处理，使用卷积神经网络作为特征提取器提取临近范围的局部空间特征，使用长短时记忆网络(LSTM)作为序列特征提取器提取时间序列中的序列信息，通过全连接网络获得最终的分类结果，完成整个操作。【附图说明】[0020]图1为本发明的方法框架图；[0021]图2为本发明的卷积神经网络原理图；[0022]图3和图4为本发明的长短时记忆网络原理图。【具体实施方式】[0023]为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，不是全部的实施例，而并非要限制本发明公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要的混淆本发明公开的概念。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。[0024]下面结合附图对本发明做进一步详细描述：[0025]参见图1，本发明一种基于CNN和LSTM的表面肌电信号分类方法，包含以下步骤：[0026](1)使用滑动窗口将时间序列转化成为“数据-标签”对；[0027](2)在每一个时间窗口内，对表面肌电信号应用汉明窗口并使用快速傅里叶变换计算时频谱Spectrogram；其中表面肌电数据来自网络上的Ninapro公开数据集，该数据集包含来自40个被试的50种不同手部动作。[0028]17种基本动作包括如下：[0029]1.伸展拇指；2.伸展食指和中指；3.伸展拇指、食指和中指；4.拇指蜷缩至小拇指处；5.五指张开并伸展；6.握拳；7.伸展食指；8.五指并拢并伸展；9.五指张开、伸展并沿中指逆时针旋转；10.五指张开、伸展并沿中指顺时针旋转；11.五指并拢、伸展并沿小拇指逆时针旋转；12.五指并拢、伸展并沿小拇指顺时针旋转；13.手腕下压；14.手腕上扬；15.五指并拢，手腕径向顺时针旋转；16.五指并拢，手腕径向逆时针旋转；17.握拳，手腕上扬；[0030]23种功能性动作包括如下：[0031]1.抓握大直径圆筒；2.抓握小直径圆筒；3.钩形抓握；4.伸展食指抓握；5.抓握中等直径圆筒；6.拇指、食指成环，其它手指伸展，进行抓取；7.除小拇指外，用其余手指的指尖抓取细棍；8.用所有手指抓握细棍；9.写字；10.握住网球；11.用大拇指、食指和中指握住说 明 书2/4页4CN109924977A4网球；12.五指成爪握住半个网球；13.大拇指、食指、中指三指成爪握住半个网球；14.大拇指和食指捏住物体，其余手指伸展；15.拇指和食指的指尖捏住物体，其余手指伸展；16.大拇指、食指、中指、无名指四指握住物体；17.食指弯曲与大拇指夹住名片，其余手指蜷缩；18.四指并拢与大拇指平行握住书籍；19.五指沿边缘握住盘子，大拇指指向盘心；20.五指张开握住光盘；21.大拇指、食指和中指拧瓶盖；22.转动螺丝刀；23.食指伸展握住小刀；[0032]9种发力模式包括如下：[0033]1.小拇指用力伸展；2.无名指用力伸展；3.中指用力伸展；4.食指用力伸展；5.大拇指用力并拢；6.大拇指用力伸展；7.食指和小指同时用力伸展；8.中指和无名指同时用力伸展；9.食指和大拇指同时用力伸展[0034]1种休息姿势为五指自然放松。[0035](3)为缩短网络训练时间，将时频谱数据沿时间轴方向叠加整合进行批处理，并送入卷积神经网络，完成局部空间高位特征提取，得到高维特征；另外原始的表面肌电数据被送入卷积神经网络中。该卷积网络使用ReLU作为激活函数，使用随机梯度下降法对网络参数进行调整，使用交叉熵Cross Entropy作为损失函数，获取最终的卷积特征提取网络。[0036]如图2所示，用固定尺寸的卷积核在输入数据上与相应区域的数据做卷积运算，卷积核在输入数据上移动，从而得到当前卷积层的输出，并作为下一卷积层的输入。[0037](4)将高维特征沿数据叠加维度展开，恢复为时间序列，并送入长短时记忆网络，提取序列特征；[0038]如图3和图4所示，图3显示的是一个序列输入，通过更新长短时记忆网络的隐状态来得到一个序列输出。图4显示的是隐状态更新的细节：[0039]以上一个节点输出的隐状态ht-1和序列中的当前元素向量Xt作为输入，输出一个中间变量ft：[0040]ft＝σ(Wf·[ht-1，Xt]+bf)[0041]其中，σ是sigmoid函数，下同。[0042]以上一个节点输出的隐状态ht-1和序列中的当前元素向量Xt作为输入，输出中间变量it和[0043]it＝σ(Wi·[ht-1，Xt]+bi)[0044][0045]以上一个节点输出的元胞状态Ct-1和之前两步中得到的中间变量ft，it和为输入，输出本节点的元胞状态Ct：[0046][0047]其中*代表卷积运算，下同。[0048]以上一个节点输出的隐状态ht-1和序列中的当前元素向量Xt以及上一步计算出的本节点的元胞状态Ct作为输入，输出本节点的隐状态ht：[0049]ot＝σ(Wo·[ht-1，Xt]+bo)[0050]ht＝ot*tanh(Ct)[0051](5)将序列特征送入全连接网络，进行进一步的特征提取和整合，得到充分提取的说 明 书3/4页5CN109924977A5高维特征；[0052](6)将充分提取的高维特征送入Softmax函数得到最终的分类结果。[0053]本发明通过以表面电极采集的肌肉电信号(表面肌电sEMG)作为输入，使用传统手工提取特征作为预处理，使用卷积神经网络作为特征提取器提取临近范围的局部空间特征，使用长短时记忆网络(LSTM)作为序列特征提取器提取时间序列中的序列信息，通过全连接网络获得最终的分类结果，完成整个操作。本发明的核心基于深