语音信号处理实验指导书

1数字语音信号处理实验指导书编写曹建荣山东建筑大学信息与电气工程学院2011年10月2前言语音信号处理是研究用数字信号处理技术和语音学知识对语音信号进行处理的新兴的学科，是目前发展昀为迅速的信息科学研究领域的核心技术之一。通过语音传递信息是人类昀重要、昀有效、昀常用和昀方便的交换信息形式。同时，语言也是人与机器之间进行通信的重要工具，它是一种理想的人机通信方式，因而可为信息处理系统建立良好的人机交互环境，进一步推动计算机和其他智能机器的应用，提高社会的信息化程度。语音信号处理是一门新兴的学科，同时又是综合性的多学科领域和涉及面很广的交叉学科。虽然从事这一领域研究的人员主要来自信号与信息处理及计算机应用等学科，但是它与语音学、语言学、声学、认知科学、生理学、心理学等许多学科也有非常密切的联系。20世纪60年代中期形成的一系列数字信号处理的理论和算法，如数字滤波器、快速傅立叶变换（FFT）等是语音信号数字处理的理论和技术基础。随着信息科学技术的飞速发展，语音信号处理取得了重大的进展：进入70年代之后，提出了用于语音信号的信息压缩和特征提取的线性预测技术（LPC），并已成为语音信号处理昀强有力的工具，广泛应用于语音信号的分析、合成及各个应用领域，以及用于输入语音与参考样本之间时间匹配的动态规划方法；80年代初一种新的基于聚类分析的高效数据压缩技术—矢量量化（VQ）应用于语音信号处理中；而用隐马尔可夫模型（HMM）描述语音信号过程的产生是80年代语音信号处理技术的重大发展，目前HMM已构成了现代语音识别研究的重要基石。近年来人工神经网络(ANN)的研究取得了迅速发展，语音信号处理的各项课题是促进其发展的重要动力之一，同时，它的许多成果也体现在有关语音信号处理的各项技术之中。为了深入理解语音信号数字处理的基础理论、算法原理、研究方法和难点，根据数字语音信号处理教学大纲，结合课程建设的需求，我们编写了本实验参考书。本本参考书针对教学大纲规定的四个研究设计型实验，每个实验给出了参考程序，目的是起一个抛砖引玉的作用，学生在学习过程中，可以针对某一个实验进行延伸的创新学习，比如说，语音端点的检测、语音共振峰提取、基于HMM或DTW的有限词汇或大词汇的特定人、非特定人的语音识别、识别率的提高（如何提高有噪环境下的识别率）、以及编码问题等，同时在学习中还可深入思考如何将有关的方法在嵌入式系统或DSP下的实现问题等。3教材及参考书目推荐教材：赵力.语音信号处理（第二版），机械工业出版社，2009年.参考教材：1、L.R.Rabiner,B.H.Juang.FundamentalsofSpeechRecognition.PrenticeHall,EnglewoodCliffs,1993.清华大学出版社（影印），2002年.2、胡航.语音信号处理（修订版），哈尔滨工业大学出版社，2002年.3、易克初，田斌等.语音信号处理，国防工业出版社，2000年.4、张雄伟等编著，《现代语音处理技术及应用》，机械工业出版社，2003年.5、吴家安等.语音编码技术及应用，机械工业出版社，2006年.6、韩继庆，张磊，郑铁然.语音信号处理，清华大学出版社，2004年.7、D.G.Childers.Matlab之语音处理与合成工具箱（影印版），清华大学出版社，2004年.8、ThomasF.Quatieri著，赵胜辉等译，《离散时间语音信号处理—原理与应用》，电子工业出版社，2004.9、王让定，熊益群，徐国娟等编，《数字语音信号实验指导书》，宁波大学信息科学与工程学院，2008实验说明实验学时数：6实验项目数：41、目的与基本要求实验为研究型（设计型）实验，共安排4个，为了真正达到研究设计型实验的目的，采用开放实验的办法，将自主学习和研究设计型实验结合起来，统一安排。通过开放实验，目的使学生进一步理解数字语音信息处理的基本方法，提高学生自主分析、发现及解决问题的能力，锻炼学生论文写作能力，为实际的应用打下扎实的基础。2、研究设计型实验的内容1）研究设计型实验1：基于MATLAB的语音信号时域特征分析要求：按所学相关语音处理得的知识，通过网上学习、资料查阅，自己设计程序，给出某一语音信号的短时过零率、短时能量、短时自相关特征的分析结果，并借助时域分析方法检测所分析语音信号的基音周期，写出报告（按一般科学论文的写作规范）。2）研究设计型实验2：基于MATLAB分析语音信号频域特征要求：4按所学相关语音处理的得知识，通过网上学习、资料查阅，自己设计程序，给出某一语音信号的短时谱、倒谱、语谱图的分析结果，并借助频域分析方法检测所分析语音信号的基音周期或共振峰，写出报告（按一般科学论文的写作规范）。3）研究设计型实验3：基于MATLAB进行语音信号的LPC分析要求：按所学相关语音处理的知识，通过网上学习、资料查阅，自己设计程序，给出某一语音信号的LPC分析结果，包括LPC谱、LPCC谱的分析结果，并借助LPC分析方法检测所分析语音信号的基音周期和共振峰，写出报告（按一般科学论文的写作规范）。4）研究设计型实验4：减谱法语音增强技术研究要求：按所学相关语音处理的知识，通过网上学习、资料查阅，借助MATLAB工具，自己设计减谱法语音增强程序（也可参考相关文献），能显示干净语音和加噪语音信号及处理后的结果语音信号波形，分析实验结果，写出报告（按一般科学论文的写作规范）。5实验一基于MATLAB的语音信号时域特征分析一、实验目的语音信号是一种非平稳的时变信号，它携带着各种信息。在语音编码、语音合成、语音识别和语音增强等语音处理中无一例外需要提取语音中包含的各种信息。语音信号分析的目的就在与方便有效的提取并表示语音信号所携带的信息。语音信号分析可以分为时域和变换域等处理方法，其中时域分析是昀简单的方法，直接对语音信号的时域波形进行分析，提取的特征参数主要有语音的短时能量，短时平均过零率，短时自相关函数等。本实验要求掌握时域特征分析原理，并利用已学知识，编写程序求解语音信号的短时过零率、短时能量、短时自相关特征，分析实验结果，并能掌握借助时域分析方法所求得的参数分析语音信号的基音周期及共振峰。二、实验原理及实验结果1.窗口的选择通过对发声机理的认识，语音信号可以认为是短时平稳的。在5~50ms的范围内，语音频谱特性和一些物理特性参数基本保持不变。我们将每个短时的语音称为一个分析帧。一般帧长取10~30ms。我们采用一个长度有限的窗函数来截取语音信号形成分析帧。通常会采用矩形窗和汉明窗。图1.1给出了这两种窗函数在帧长N=50时的时域波形。020406000.20.40.60.811.21.41.61.82矩形窗samplew（n）020406000.10.20.30.40.50.60.70.80.91hanming窗samplew（n）图1.1矩形窗和Hamming窗的时域波形矩形窗的定义：一个N点的矩形窗函数定义为如下1,00,()nNwn其他hamming窗的定义：一个N点的hamming窗函数定义为如下0.540.46cos(2),010,()nnNNwn其他=6这两种窗函数都有低通特性，通过分析这两种窗的频率响应幅度特性可以发现（如图1.2）：矩形窗的主瓣宽度小（4*pi/N），具有较高的频率分辨率，旁瓣峰值大（-13.3dB），会导致泄漏现象；汉明窗的主瓣宽8*pi/N，旁瓣峰值低（-42.7dB），可以有效的克服泄漏现象，具有更平滑的低通特性。因此在语音频谱分析时常使用汉明窗，在计算短时能量和平均幅度时通常用矩形窗。表1.1对比了这两种窗函数的主瓣宽度和旁瓣峰值。00.10.20.30.40.50.60.70.80.91-80-60-40-200矩形窗频率响应归一化频率(f/fs)幅度/dB00.10.20.30.40.50.60.70.80.91-100-500Hamming窗频率响应归一化频率(f/fs)幅度/dB图1.2矩形窗和Hamming窗的频率响应表1.1矩形窗和hamming窗的主瓣宽度和旁瓣峰值2.短时能量由于语音信号的能量随时间变化，清音和浊音之间的能量差别相当显著。因此对语音的短时能量进行分析，可以描述语音的这种特征变化情况。定义短时能量为：221[()()][()()]nnmmnNExmwnmxmwnm，其中N为窗长特殊地，当采用矩形窗时，可简化为：2()nmExm图1.3和图1.4给出了不同矩形窗和hamming窗长的短时能量函数，我们发现：在用短时能量反映语音信号的幅度变化时，不同的窗函数以及相应窗的长短均有影响。hamming窗的效果比矩形窗略好。但是，窗的长窗函数主瓣宽度旁瓣峰值矩形窗4*pi/N13.3dBhamming8*pi/N42.7dB102)(NmnnmxE7短影响起决定性作用。窗过大（N很大），等效于很窄的低通滤波器，不能反映幅度En的变化；窗过小（N很小），短时能量随时间急剧变化，不能得到平滑的能量函数。在11.025kHz左右的采样频率下，N选为100~200比较合适。短时能量函数的应用:1）可用于区分清音段与浊音段。En值大对应于浊音段，En值小对应于清音段。2）可用于区分浊音变为清音或清音变为浊音的时间（根据En值的变化趋势）。3）对高信噪比的语音信号，也可以用来区分有无语音（语音信号的开始点或终止点）。无信号（或仅有噪声能量）时，En值很小，有语音信号时，能量显著增大。020004000600080001000012000140001600018000-101sample采样幅度020004000600080001000012000140001600018000024sample短时能量N=500200040006000800010000120001400016000180000510sample短时能量N=1500200040006000800010000120001400016000180000510sample短时能量N=25002000400060008000100001200014000160001800001020sample短时能量N=35002000400060008000100001200014000160001800001020sample短时能量N=450020004000600080001000012000140001600018000-101sample采样幅度020004000600080001000012000140001600018000012sample短时能量N=50020004000600080001000012000140001600018000024sample短时能量N=1500200040006000800010000120001400016000180000510sample短时能量N=2500200040006000800010000120001400016000180000510sample短时能量N=3500200040006000800010000120001400016000180000510sample短时能量N=450图1.3不同矩形窗长的短时能量函数图1.4不同hamming窗长的短时能量函数3．短时平均过零率过零率可以反映信号的频谱特性。当离散时间信号相邻两个样点的正负号相异时，我们称之为“过零”，即此时信号的时间波形穿过了零电平的横轴。统计单位时间内样点值改变符号的次数具可以得到平均过零率。定义短时平均过零率：sgn[[]sgn[(1)]()nmZxmxmwnm其中sgn为符号函数，0)(,10)(,1)(sgnnxnxnx，在矩形窗条件下，可以简化为11sgn[()sgn[(1)]2nnmnNZxmxmN短时过零率可以粗略估计语音的频谱特性。由语音的产生模型可知，发浊音时，声带振动，尽管声道有多个共振峰，但由于声门波引起了频谱