第2章 语音信号处理的基础知识

第2章语音信号处理的基础知识第2章语音信号处理的基础知识2.1语音和语言2.2汉语语音学2.3语音生成系统和语音感知系统2.4语音信号生成的数学模型2.5语音信号的特性分析第2章语音信号处理的基础知识2.1语音和语言人们讲话时发出的话语叫语音一种声音：具有声学特性一种特殊声音：人们进行信息交流的声音，是组成语言的声音语音（Speech）=声音（Acoustic）语言（Language）+第2章语音信号处理的基础知识2.1语音和语言语音是由一连串的音组成的语言的声音“他热爱祖国”例如：第2章语音信号处理的基础知识2.1语音和语言对语音的研究包括两个方面：语言学语音中各个音的排列规则及其含义的研究语音学语音中各个音的物理特性和分类的研究第2章语音信号处理的基础知识2.1语音和语言人的说话过程1.想说阶段2.说出阶段3.传送阶段4.接收阶段5.理解阶段第2章语音信号处理的基础知识想说阶段：产生说话动机讲话神经中枢选择单词、短语并按语法规则组合心理过程第2章语音信号处理的基础知识说出阶段：大脑中枢向发音器官发出指令发出语音生理过程大脑中枢向其他有关器官发出指令产生动作配合效果听觉系统听自己的话语帮助修正第2章语音信号处理的基础知识传送阶段：物理过程空气媒介第2章语音信号处理的基础知识接收阶段：生理过程脉冲第2章语音信号处理的基础知识理解阶段：听觉神经中枢收到脉冲信息心理过程辨认出信息？第2章语音信号处理的基础知识2.1语音和语言人的说话过程1.想说阶段2.说出阶段3.传送阶段4.接收阶段5.理解阶段复杂第2章语音信号处理的基础知识2.1语音和语言语言学语言规则语音信号处理的基础语音学语音产生、感知过程和各个音的特征和分类同语音信号处理的联系更密切第2章语音信号处理的基础知识2.1语音和语言相关语音学知识语音的声学特性语音的分类语音生成系统语音感知系统第2章语音信号处理的基础知识音色：一种声音区别于另一种声音的基本特性音调：声音的高低音强：声音的强弱音长：声音的长短2.1语音和语言1.语音的声学特性共振峰基音频率能量时间第2章语音信号处理的基础知识2.1语音和语言2.语音的音节和音素音节：说话时一次发出的，具有一个响亮的中心，并被明显感觉到的语音片段音素：语音发音的最小单位第2章语音信号处理的基础知识2.1语音和语言3.音素按发音方式分为元音和辅音两种元音：当声带振动发出的声音气流从喉腔、咽腔进入口腔从唇出去时，这些声道完全开放，气流顺利通过，这种音称为元音。辅音：呼出的气流由于通路的某部分封闭起来或受到阻碍，气流被阻不能畅通，而克服发音器官的这种阻碍而产生的音素称为辅音。第2章语音信号处理的基础知识2.1语音和语言4.音素按激励方式分为浊音、清音浊音：当气流通过声门时，如果声带发生振动，产生一股准周期的气流，这一气流激励声道就产生浊音，例如a。清音：声带不振动第2章语音信号处理的基础知识元音浊音辅音浊辅音清辅音第2章语音信号处理的基础知识2.2汉语语音学2.3.1汉语语音的特点汉语是世界上最大的语种，汉语的标准语音是北京语音（普通话），特点是音系简单：音素少、音节少、音节的结构比较简单听起来有清亮、高扬、舒服、柔和的感觉有鲜明的清重音和儿化韵第2章语音信号处理的基础知识2.2汉语语音学2.3.2汉语的拼音方法音素声母或韵母音节词句子声母韵母元音（元音+辅音）辅音第2章语音信号处理的基础知识2.2.3汉语音节的一般结构声母：一个音节起头的辅音韵母：一个音节中声母后边部分是韵母声调：分为阴平、阳平、上声、去声和轻声第2章语音信号处理的基础知识2.2.7汉语的声调声调对汉语语音的理解极为重要。浊音基音周期（基音频率）的变化产生了声调，变化的曲线称为声调曲线。图2-6汉语普通话四种声调的典型曲线（男性话者）高半高中半低低第2章语音信号处理的基础知识2.3语音生成系统和语言感知系统2.3.1语音发音系统2.3.2语音听觉系统第2章语音信号处理的基础知识图2-7发音器官的部位和名称人的发音器官肺气管喉（包括声带）咽鼻口2.3.1语音发音系统第2章语音信号处理的基础知识喉的解剖结构典型的声门脉冲串波形第2章语音信号处理的基础知识基音周期说话过程中的声带周期性开合，使气流周期性通断，形成一串周期性脉冲气流激励声道，产生语音，其周期即为基音周期T0，其倒数称为基音频率F0。基音周期取决于声带的特性（大小、厚薄、松劲程度以及声门上下之间的气压差的效应），还有人的发音习惯，反映人的个性特征。基音频率的范围：60~450Hz随性别、年龄而定：老年男性偏低，小孩和青年女性偏高2.3.1语音发音系统第2章语音信号处理的基础知识2.3.1语音发音系统声道从声门到嘴唇的呼气通道，由咽、口腔和鼻腔组成。共振峰声道是一个横截面非均匀的通道，各处的固有频率也就不一样，声音是含有多种频率的复合声波，当含有的频率与声道的固有频率相同时，就会产生共振，则这时声波以最大的振幅振动（幅度谱上表现为幅度高于附近的幅度），此时的频率称为共振峰频率，简称共振峰。第2章语音信号处理的基础知识第2章语音信号处理的基础知识语音的产生过程肺活量声带（声门）咽腔软腭鼻腔口腔气管鼻音口音发音生理机构图第2章语音信号处理的基础知识产生音源声道调音向外辐射音源：声带音源、非声带音源基音周期声道调音：声道中各种器官对语音的作用共振峰向外辐射：主要是嘴第2章语音信号处理的基础知识2.4.2语音听觉系统耳外耳声源定位和声音放大中耳声阻抗的变换内耳耳蜗把声音通过机械变换产生神经发放信号第2章语音信号处理的基础知识听觉系统的特性耳蜗对声信号的时频分析特性频率范围：20Hz-20KHz强度：-5~130dB听觉掩蔽效应在一个强信号附近，弱信号就变得不可闻，被掩蔽掉了。前者称为掩蔽声，后者称为被掩蔽声。图2-15一个1kHz的掩蔽声的掩蔽曲线第2章语音信号处理的基础知识听觉掩蔽效应同时掩蔽同时存在的一个弱信号和一个强信号频率接近时，强信号会提高弱信号的听阈，当弱信号的听阈被升高到一定程度时就会导致这个弱信号变得弱不可闻。例如掩蔽声越强，掩蔽作用越大；频率靠得越近，掩蔽效果越明显短时掩蔽强信号和弱信号不同时出现时也存在掩蔽作用，称为短时掩蔽。后向掩蔽人耳的储能效应前向掩蔽被掩蔽声尚未被人所反映接收而掩蔽声已来临第2章语音信号处理的基础知识2.5语音信号生成的数学模型数学模型的基础：发音器官的特点和语音生产的机理建模的目的：能够用计算机来定量地对语音信号进行模拟和处理建模的原则：最高的精度、最简单理想的模型：线性的、时不变的第2章语音信号处理的基础知识经典模型假设：在短时间间隔内，语音信号是平稳随机过程起源于30年代发明的声码器基本思想：语音信号被看成是线性时不变系统（声道）在随机噪声或准周期脉冲序列下的输出，而不是直接研究语音信号波形本身。语音信号产生的模型激励模型声道模型辐射模型激励声道辐射第2章语音信号处理的基础知识2.5.1激励模型浊音激励第2章语音信号处理的基础知识单个斜三角形脉冲单个斜三角形脉冲的频谱21)1(1)(zezGcT图2-17单个斜三角形波形图2-18单个斜三角形的频谱第2章语音信号处理的基础知识斜三角形脉冲串冲激序列单个斜三角形G(z)浊音激励11)(zAzEv)(zG)()()(zGzEzU第2章语音信号处理的基础知识清音激励随机白噪声：均值为0、方差为1第2章语音信号处理的基础知识第2章语音信号处理的基础知识2.5.2声道模型声管模型断面图立体图第2章语音信号处理的基础知识共振峰模型把声道视为一个谐振腔，共振峰就是这个腔体的谐振频率。级联型并联型混合型2.5.2声道模型第2章语音信号处理的基础知识1.级联型对于一般元音，声道被模拟为全极点模型全极点模型的传输函数传输函数表示为多个二阶极点的网络的级联2.5.2声道模型NkkkzaGzV11)(MiiiizczbazV1211)(第2章语音信号处理的基础知识V1V2V3V4V5G级联型共振峰模型图2-20级联型共振峰模型第2章语音信号处理的基础知识2.并联型对于非一般元音及大部分辅音，声道被模拟为零极点模型零极点模型的传输函数传输函数表示为部分分式之和的形式NkkkRrrrzazbzV101)(MiiiizCzBAzV1211)(第2章语音信号处理的基础知识图2-21并联型共振峰模型第2章语音信号处理的基础知识3.混合型比较完备的共振峰模型图2-22混合型共振峰模型第2章语音信号处理的基础知识2.5.3辐射模型)(nuL)(npLLZrrrrLLjRRLjZ)(辐射阻抗)1()(10zRzR第2章语音信号处理的基础知识2.5.4语音信号的数学模型)()()()(zRzVzUAzH图2-24语音信号产生的离散时域模型第2章语音信号处理的基础知识2.5.4语音信号的数学模型注意：这种语音信号的数学模型的内部结构并不和语音产生的物理过程相一致，但是它和真实发音系统在输出处是等效的。这种模型是“短时”的模型。第2章语音信号处理的基础知识2.6语音信号的特性分析语音信号的特性：声学特性时域特性频域特性时频域特性统计特性第2章语音信号处理的基础知识2.6.1语音信号的时域波形和频谱特性时域波形的特性区分清辅音和元音基音频率图2-25汉语拼音的“shouke”的时间波形第2章语音信号处理的基础知识2.6.1语音信号的时域波形和频谱特性频域特性浊音的基音频率和谐波频率共振峰特性区分清辅音和浊音图2-26元音[ou]的频谱图图2-27清辅音[k]的频谱图第2章语音信号处理的基础知识第2章语音信号处理的基础知识2.6.2语音信号的语谱图时频分析特性语谱图语谱仪窄带（45Hz）基音频率各次谐波宽带（300Hz）共振峰频率清辅音的能量汇集区Spectrogram第2章语音信号处理的基础知识语谱图声纹第2章语音信号处理的基础知识2.6.3语音信号的统计特性第2章语音信号处理的基础知识2.6.3语音信号的统计特性修正伽玛（Gamma）分布拉普拉斯（Laplace）分布高斯分布（Gaussian)分布第2章语音信号处理的基础知识LaplacedistributionGaussiandistribution第2章语音信号处理的基础知识总结：语音学知识语音的声学特性音色、音调、音强、音长语音的分类音节、音素元音、辅音清音、浊音第2章语音信号处理的基础知识总结：语音学知识语音的声学特性语音的分类汉语语音学拼音方法音节构成声调第2章语音信号处理的基础知识总结：语音学知识语音的声学特性语音的分类汉语语音学发音系统基音周期共振峰：前三个第2章语音信号处理的基础知识总结：语音学知识语音的声学特性语音的分类汉语语音学发音系统听觉系统耳蜗对声信号的时频分析特性频率范围强度听觉掩蔽效应第2章语音信号处理的基础知识总结：语音信号的数学模型激励模型声道模型辐射模型第2章语音信号处理的基础知识总结：语音信号的数学模型激励模型浊音激励清音激励第2章语音信号处理的基础知识总结：语音信号的数学模型声道模型声管模型共振峰模型级联型：全极点模型、对于一般元音并联型：零极点模型、对于非一般元音及大部分辅音混合型：比较完备的共振峰模型第2章语音信号处理的基础知识总结：语音信号的数学模型辐射模型表征口唇的辐射效应一阶类高通滤波器第2章语音信号处理的基础知识总结：语音信号的数学模型)()()()(zRzVzUAzH声道模型辐射模型激励模型第2章语音信号处理的基础知识总结：语音信号的特性分析时域波形清辅音元音频域特性清辅音元音第2章