基于遗传算法的生理信号情感识别①牛晓伟,刘光远西南大学电子信息工程学院,重庆400715摘要:针对用生理信号来识别情感状态中的最优情感特征组合选择这一组合优化问题,用遗传算法来选择最能代表相应情感状态的最优特征组合,以最近邻法的分类正确率作为当前搜索到的最优特征组合评价准则,将两者结合用于joy、anger、pleasure、sadness四种情感状态的识别,得到了较好的情感识别效果.仿真实验表明,该方法是有效的.关键字:遗传算法;最近邻分类;最优情感特征组合中图分类号:TP391.4文献标识码:AEmotionrecognitionwithphysiologicalsignalsbasedonGeneticalgorithmNiuXiao-wei,LIUGuang-yuanSchoolofElectronicandinformationEngineering,SouthwestUniversity,Chongqing400715,ChinaAbstract:Takingintoaccountthecombinationaloptimizationproblemthatemotionrecognitionwiththephysiologicalsignals,thegeneticalgorithmusedforsearchingtheoptimalfeaturesubsetwhichrepresentsexactlytherelevantaffectivestates,theclassifiedaccuracyofthenearestneighborisasaevaluationcriteriawhichhassearchedtheoptimalfeaturesubset.Bothofthemarecombinedtorecognizethefollowingfouraffectivestates:joy,anger,pleasure,sadness,whichhasacquiredagoodemotionrecognitioneffect.theexperimentresultsshowsthatthemethodiseffective.Keywords:Geneticalgorithm;thenearestneighborclassification;Optimalemotionfeaturesubset计算机情感识别正逐步成为人机交互领域研究的热点和发展方向,越来越受到研究者的重视.情感识别研究包括多个方面:如情感特征分析、肢体情感识别、面部情感识别和语音情感识别等.美国MIT媒体实验室情感计算研究小组[1]的Picard教授及其合作者率先从生理信号中提取特征[2-4]来进行情感状态识别方面的研究,此后德国以及其它国家也在这一方面作了很多工作[5-6],取得了很好的效果.情感识别过程通常基于三个主要步骤:①原始情感特征的提取;②情感特征子集选择;③分类器的设计.其中特征选择是指从数量为D的特征中依据某种标准选择出数量为d(Dd)的一组特征来,而分类器性能不下降.文献[2]中特征选择采用序列前向漂移算法(SFFS),并结合Fisher投影缩减特征空间维数,对四种情感状态分类平均识别率达到68.75%;文献[4]、[6]比较了不同的特征选择方法(SFS、SFS/Fisher、SBS、SFFS/FP)与分类器相结合应用于情感状态识别的结果,取得较好的识别效果.以上文献中用到的特征选择算法多基于穷举原理,搜索空间规模为dDC,本质上属于NP难问题.除穷尽搜索之外,不能保证得到最优解.特征数较少时,尚可用穷举法求解,特征数达到一定程度时,获取特征的代价增加,分类器的性能得不到保证,计算复杂性与D成指数增长.遗传算法(GA)本身具有全局优化能力,而最近邻法[7](1NN)是一种简单而有效的分类方法,能充分利用每个情感样本的信息.因此,本文尝试将遗传算法与最近邻法相结合,用GA选择特征子集,将最近邻法的分类正确率作为遗传算法搜索最优特征子集的评价标准,仿真实验表明:遗传特征搜索算法虽不能象文献[6]中提到的基于穷举原理搜索那样找到最优解,但可找到工程意义上的次优解,由此得到最能代表某种情感状态的特征组合,尤其是当特征数量增加时,更能显示出该方法的优越性。1封装式特征子集搜索思想封装式特征子集搜索[8]具有实时性、高效性和导向性,能实时的对待评估的特征子集做出评价,并依据目标准则指导下一步搜索的方向.通常包括两个主要部分:搜索算法和评价函数.搜索算法执行在特征空间中的搜索过程并产生待评估的特征子集.首先随机选择一个起始点,然后通过搜索算法产生新的特征子集,每产生一个新的特征子集都用一个评价函数来评价子集的性能,并把结果与以前最好的比较,依据评价函数选择保留最好的特征子集.本文采用遗传算法和最近邻法(KNN,K=1)封装的方法进行搜索最优特征子集,是一种随机产生特征子集的方法,基本思想就是每一次迭代过程中用来评价特征子集的学习算法被封装①重庆市科委资助项目(CSTC,2006BB2028)。作者简介:牛晓伟,男(1978—),河南洛阳人,硕士研究生,主要研究方向为智能信息处理与情感计算.刘光远,(1961—),教授,目前主要研究方向为计算智能及情感计算.在特征选择的过程中.评价函数采用识别正确率的大小,分类器采用最近邻法;如下图:代表问题空间的特征集基于遗传算法的特征选择过程搜索过程可能的特征子集最优特征子集评价函数最近邻法分类器识别率特征子集图1.基于遗传算法的特征选择过程2基于遗传算法的最近邻算法描述2.1个体编码规则染色体的编码方式采用二进制,若原始特征有15个,则个体的长度L=15,个体的每一个基因对应相应次序的特征,即当个体中的某一个基因为“1”时,表示该基因对应的特征项被选用;反之,为“0”时,表示该特征项未被选用.例如,个体110010000101100表示第1、第2、第5、第10、第12、第13个特征项被选用.2.2初始种群生成规则随机生成长度为L的二进制串(个体)m个.m为种群规模,其大小影响着遗传算法的最终结果及其执行效率.m太小,易于陷入局部最优,影响其优化性能;m太大,则计算复杂度高.本文中规定m=η×n(n=20),其中η为1.00~2.00之间的实数.即至少有n个样本,才能使得初始群体在问题空间较为均匀的分布.2.3评估函数(适应度函数)的确定特征选择的目的是找出分类能力最强的特征组合,其适应度函数采用最近邻聚类的分类准确率C.适应度函数建立如下:C=n/N(1)其中n为某一情感分类正确的样本数目,N为该情感状态总的样本数.2.4遗传操作设计(1)选择规则求出当代每个个体的适应度(识别率),并将其按适应度(识别率)从大到小的顺序排列.将群体中10%的优秀个体直接进入下一代,剩下部分按轮盘赌的比例选择法进行选择.这样可以保证下一代的最佳群体绝对不比上一代的最佳群体差.保证以概率1收敛到全局最优.(2)交叉规则采用多点交叉,按交叉概率随机的选择要交叉的个体数,对于每两个个体随机选取一个交叉点进行交叉,交叉的点数根据特征的维数L的长度不同而选择改变.(3)变异规则先随机产生一个变异位置,再产生一个[0,1]内的均匀的随机数,若产生的随机数rpm,则将该位置的0变1,1变0,初始的变异概率为0.01,变化范围为[0.01,0.05],变化步长为0.04/20,相邻两代的平均适应度之差i,当连续5代的平均识别率不发生明显的变化(041ii)时,则依步长加大变异率.(4)算法停止准则:达到规定的进化代数;2.5算法的基本流程STEP1根据不同的生理信号提取相应维数的特征,构造原始特征矩阵;STEP2初始化种群,随机产生m(m为种群规模)个长度为L的二进制串,其中1代表该特征被选用,0代表该特征未被选用;STEP3依据STEP2的原则,从STEP1的原始特征矩阵中选择相对应的特征子集,对每个个体进行适应度评价并按照识别率大小排序,并记录本代平均适应度值;STEP4记录本代最好的识别率及相对应的最优特征子集;STEP5输出搜索到的最好的识别率及相对应的最优特征子集,终止算法;STEP6判断是否满足算法停止准则,若满足,则转STEP5.若不满足,则转STEP7;STEP7执行复制操作;将按识别率由大到小排序后,10%的优秀个体直接进入下一代,其余90%的个体按轮盘赌的比例选择法进行选择;STEP8执行交叉操作,采用多点交叉方式,交叉概率Pc=0.8;STEP9执行变异操作,若平均适应值连续5代不发生明显变化,则按规定增大变异率;STEP10由STEP7、STEP8、STEP9产生新的种群,转入STEP3;3仿真实验与结果3.1情感数据集来源说明本文所采用的情感数据[9]样本来自德国奥格斯堡大学计算科学研究所.通过四种不同基调音乐的歌曲诱发被试者处于四种不同的情绪状态:joy、anger、sadness、pleasure,分别在每一种情感状态的下采集2分钟的四种生理信号心电(ECG)、肌电(EMG)、皮肤电(SC)、呼吸(RSP),其中ECG采样频率为256Hz,EMG、SC、RESP的采样频率均为32Hz,持续25天的数据采集,共100个数据样本,每种情感各有25个样本,将并依次按joy、anger、sadness、pleasure排列.实验中用“留一法”随机选取测试样本集,其中ECG、EMG、SC、RSP分别各自提取了84、21、21、67个原始特征,四种生理信号共抽取了193个原始特征.除了均值、中值、标准差、最小值、最大值、最大间隔、最大分辨率、谱平均以及一、二阶差分的统计特征之外,还根据不同生理信号的特殊性和差异性,提取了诸如ECG的P波、Q波、R波、S波、T波的幅度峰值、HRV(心率)以及RSP的呼吸率等具有代表性又能反映情感状态发生变化对信号影响的特征;从4种情感状态的100个样本中,按ECG、EMG、SC和RSP各自提取的原始特征数,构造出ECG100*84、EMG100*21、SC100*21、RSP100*67四个原始特征矩阵.识别时按用某一生理信号识别来识别某一种情感状态分四步分别进行,搜索到的对某种情感状态最有效(识别率最高)的特征的组合可依据算法实时记录的特征标签号从原始特征矩阵中获得,对比结果如下表:算法参数设置如下:种群规模m=20,进化代数设置为1000,复制概率pv=0.2,交叉概率pc=0.8,变异初始概率pm=0.01,步长0.04/20,发交叉点数随不同生理信号抽取特征维数L不同设置如下:ECGL=84维特征,10点交叉;EMGL=SCL=21维,5点交叉;RSPL=67维,8点交叉;05.00,初始种群m=20.仿真结果如下表:10次运行结果如下:表1单一生理信号识别单一情感状态Table1recognizingsingleemotionofsinglephysiologicalsignal最好识别率最差识别率平均识别率原始特征数选择后的特征数joyECGEMGRSPSC88%76%56%68%81%71%52%56%86%74%55%60%84216721358328angerECGEMGRSPSC56%76%100%56%52%72%96%52%54%75%97%53%842167214110328sadnessECGEMGRSPSC76%72%72%48%68%64%65%36%71%68%69%46%84216721417359表2单一生理信号对四种情感的平均识别效果及按唤醒度轴和效价轴识别结果Table2recognizing4emotionsandarousalvalenceofsinglephysiologicalsignal四种情感唤醒度效价ECGEMGRSPSC61.75%71%63.75%49.25%70%74.5%76%56.5%61%70.5%44.5%50.5%注:*唤醒度**效价3.2结果分析与说明由表1可以看出:包含在生理