5.语音识别基础第五章

语音识别基础第五章基于统计模型(HMM)方式的语音识别技术5.1基于统计模型框架的识别法*5.2隐马尔柯夫模型(HMM)的概念*(HMM:HiddenMarkovModels)5.3HMM的三个基本问题*5.4基于HMM的语音识别方案*第五章基于统计模型(HMM)方式的语音识别技术提交时间：第五章回家作业5.1基于统计模型框架的识别法5.1.1预备知识(1)条件概率P(A|B)P(A|B)=P(A,B)/P(B)P(A,B)：表示A与B的联合概率。(2)Bayes定理P(A|B)=P(B|A)P(A)/P(B)(3)事件的独立性P(A,B)=P(A)P(B)5.1.2基于统计模型框架的识别法*5.2隐马尔柯夫模型(HMM)的概念5.2.1马尔柯夫过程*5.2.2隐马尔柯夫模型的概念*5.2.3HMM的要素及其模型描述*5.2.4基于HMM的观察符号序列的生成方式*5.3HMM的三个基本问题及其解法5.3.1HMM三个基本问题-模型评估问题(如何求：P(O|λ))-最佳路径问题(如何求：Q=q1q2…qT)-模型训练问题(如何求：A、B、π)5.3.2模型评估问题的解法*5.3.3最佳路径问题的解法*5.3.4模型训练问题的解法5.4基于HMM的语音识别方案判决规则VITERBI计算VQ码本训练识别XX:特征矢量的时间序列O:基于VQ的观察符号序列HMM(3)HMM(2)HMM(1)O··声学参数分析预处理语音信号输入基于统计模型框架的识别法(1)语音识别问题的形式化描述-设：(1)待识语音的特征模式：T=t1,t2,…,tI(2)词汇表中第ｎ个单词：W(n),1≤n≤N(3)当T被观察到后，与T对应的发声内容是单词W(n)的概率：P(W(n)|T)-语音识别问题的形式化描述：k=argmax{P(W(n)|T)}n基于统计模型框架的识别法(2)声学模型与语言模型P(W(n)|T)=P(T|W(n))P(W(n))/P(T)k=argmax{P(T|W(n))·P(W(n))}n模式匹配与统计模型(T:待识语音)模式匹配统计模型词汇表W(k),1≤k≤N词汇表W(k),1≤k≤N参考模式R(k),1≤k≤N参考模型M(k),1≤k≤N失真侧度Dk=D(T,R(k))概率侧度P(T|M(k))-Dk:DTW距离-P:由M(k)生成T的概率判别n=argmin{Dk}判别n=argmax{P(T|M(k))}1≤k≤N1≤k≤N识别结果W(n)识别结果W(n)声学模型语言模型马尔柯夫过程语言的马尔柯夫模型P(Ci,Cj)=P(Ci)P(Cj|Ci)P(Ci,Cj,Ck)=P(Ci)P(Cj|Ci)P(Ck|Cj)天气的马尔柯夫模型观察日期：12345678观察序列(O)：晴晴晴雨雨晴多云晴状态转移序列：33311323状态输出概率P(O|λ)：P(O|λ)=P(3,3,3,1,1,3,2,3|λ)=P(3)P(3|3)P(3|3)P(1|3)P(1|1)P(3|1)P(2|3)P(3|2)2：雨天天气的马尔柯夫模型0.40.60.80.20.10.10.30.20.31：多云3：晴天初始状态P(3)=1.0CiCjCkClP(Cj|Ci)P(Ck|Cj)P(Cl|Ci)一阶马尔柯夫过程隐马尔柯夫模型的概念双重随机过程-依存于状态的观察事件的随机性-状态转移的随机性观察序列(H：正面；T：反面)：O={o1,o2,…,oT}H,H,T,…,T1-a111-a22a22a11P(H)=P2P(H)=P1P(T)=1-P1P(T)=1-P212硬币投掷试验模型HMM模型的要素及其模型描述模型要素：(1)N：模型中的状态数目(2)M：每个状态可能输出的观察符号的数目(3)A={aij}：状态转移概率分布(4)B={bj(k)}：观察符号的概率分布(5)π={πi}：初始状态概率分布模型描述：λ=(A,B,π)基于HMM的观察符号序列的生成方式当给定模型λ(A,B,π)后，就可将该模型看成一个符号生成器(或称信号源)，由它生成观察序列O=o1o2…oT。其生成过程(也称HMM过程)是：(1)初始状态概率分布π，随机选择一个初始状态q1=Si；(2)置t=1；(3)按状态Si的符号概率分布bi(k)，随机产生一个输出符号ot=Vk；(4)按状态Si的状态转移概率分布aij，随机转移至一个新的状态qt+1=Sj(5)令t=t+1，若t≤T，则返回步骤（3），否则结束过程。模型评估问题的解法(1)当给定模型λ(A,B,π)以及观察序列O=o1o2…oT时，计算模型λ对观察序列O的P(O|λ)概率的思路是(穷举法)：(1)对长度为T的观察序列O，找出所有可能产生该观察序列O的状态转移序列Qj=qj1qj2qj3…qjT(j=1,2,…,J);(2)分别计算Qj与观察序列O的联合概率P(O,Qj|λ)；(2)取各联合概率P(O,Qj|λ)的和，即：JP(O|λ)=∑P(O,Qj|λ)j=10.20.51.00.80.5abS1S2S30.50.50.60.40.20.8[][][]HMM模型的例子观察符号序列：abba所有可能的路径：(1)S1-S1-S1-S2-S3(2)S1-S1-S2-S2-S3(3)S1-S1-S2-S3-S3(4)S1-S2-S2-S2-S3(5)S1-S2-S2-S3-S3(6)S1-S2-S3-S3-S3模型评估问题的解法(2)P(O|λ)的一般解法：∵P(O,Qj|λ)=P(Qj|λ)P(O|Qj,λ)P(Qj|λ)=P(qj1)P(qj2|qj1)P(qj3|qj2)…P(qjT-1|qjT)=aj0,1aj1,2aj2,3…ajT-1,TP(O|Qj,λ)=P(o1|qj1)P(o2|qj2)…P(oT|qjT)=b1j(o1)b2j(o2)b3j(o3)…bTj(oT)∴P(O,Qj|λ)=aj0,1b1j(o1)aj1,2b2j(o2)…ajT-1,TbTj(oT)JJTP(O|λ)=∑P(O,Qj|λ)=∑{∏ajt,tbtj(ot)}j=1j=1t=10.20.51.00.80.5abS1S2S30.50.50.60.40.20.8[][][]HMM模型的例子模型评估问题的前向算法0.20.51.00.80.5abS1S2S30.50.50.60.40.20.8[][][]1.00.00.00.10.40.00.010.120.080.0010.0280.0880.00010.00880.0260S1S2S30.5x0.20.5x0.80.2x1.00.6x0.50.5x0.20.5x0.20.5x0.20.5x0.80.5x0.80.5x0.80.4x0.50.4x0.50.4x0.50.4x0.50.4x0.50.6x0.50.6x0.50.8x1.00.8x1.00.2x1.0采用前向算法求解P(abba|λ)概率的格型图Q:q1q2q3q4O:abbat最佳路径问题的解法0.20.51.00.80.5abS1S2S30.50.50.60.40.20.8[][][]1.00.00.00.10.40.00.010.080.080.0010.0160.0640.00010.00880.0128S1S2S30.5x0.20.5x0.80.2x1.00.6x0.50.5x0.20.5x0.20.5x0.20.5x0.80.5x0.80.5x0.80.4x0.50.4x0.50.4x0.50.4x0.50.4x0.50.6x0.50.6x0.50.8x1.00.8x1.00.2x1.0采用Viterbi算法求解产生观察序列abba最佳路径的格型图Q:q1q2q3q4O:abbat最佳路径：S1-S2-S3-S3-S3