本文记录在传统的语音识别中,训练GMM-HMMs声学模型过程中的公式推导过程。
Outline
首先假设这里的训练数据,都做好了音素层面标记的(Label),即utterance的音素边界是已知的。这样做是为了更好地说明和对应我们的HMM建模单元(monophone)。后面会介绍Embedded Training,训练数据只需要语音+对应utterance的标记就行了。
GMM表达式:
x 代表一帧语音对应的特征参数值, cjm , μjm , Σjm 分别为为第 j 个状态的第 m 个高斯的混合系数(mixing parameters),均值(mean),方差(variance), bj(x) 则为语音特征参数 x 属于状态 j 的概率。混合高斯模型,类似k均值聚类(k-means clustering)算法,属于一种迭代软聚类(soft clustering)算法。理论上,混合高斯模型能够表示特征空间上任何概率分布。混合高斯模型的参数可以通过EM算法训练得到,分Expectation-step、Maximization-step。
隐马尔科夫模型,是在马尔科夫链(Markov chain)的基础上,增加了观测事件(observed events);即把马尔科夫链原本可见的状态序列隐藏起来,通过一个可观测的显层来推断隐层的状态信息。其中,隐层映射到显层通过发射概率(emission probability)或观测概率(observation probability)来计算,隐层状态之间的转移通过转移概率(transition probability)获得。下图是一个HMM结构:
这也是在语音识别中常用的一种隐马尔科夫模型结构,也称为Bakis模型。一般我们对每一个音素建立一个HMM,其中包括三个emitting state,一个start state(non-emitting )和一个end state(non-emitting )。HMM的数学形式为:
所以,对于一个**给定结构的**HMM,我们需要通过训练获得它的A、B矩阵,即求解emission probability和transition probability。而在GMM-HMMs中,GMM作为HMM中的 bj(ot) ,即发射概率。下节则具体列出GMM-HMMs的推导公式。
(一大波公式来袭!)
在GMM-HMMs的传统语音识别中,GMM决定了隐马尔科夫模型中状态与输入语音帧之间的符合情况,和HMM用来处理在时间轴上的声学可变性(自跳转)。训练HMM需要用到Forward-backward算法(Baum-Welch算法),本质上是一种EM算法。
图为部分的状态-时间篱笆网络,为方便理解下面前向、后向概率。
前向概率 αt(j) 代表 t 时刻处于状态 i ,且之前的观测序列为 x1,⋯,xt 的概率,即
注: sI =initial state, sE =final state
后向概率 βt(j) 是 已知 t 时刻处于状态 j ,输出之后的观测序列为 xt+1,⋯,xT 的概率,即
EM算法训练single Gaussian-HMMs,在E-step计算Q函数中固定的数据依赖参数 γt(j) (for GMM), ξt(i,j) (for HMM transition);在M-step更新GMM,HMM模型参数。这里可能有点misnomer,因为这里并没有很明显的体现出expectation maximization的过程,是因为前人已经帮你计算出来了。具体怎么确定依赖参数,和如何重估出模型参数,可参看上一篇博客《EM算法和Baum Welch算法》。本文直接给出过程结果。
首先给出在E-step需要计算的依赖参数,状态占用概率(The State Occupation Probability) γt(j) 是在给定观测序列 X 和模型参数 λ 下,在时刻 t 处于状态 j 的概率。
和 ξt(i,j) 是在给定观测序列 X 和模型参数 λ 下,在时刻 t 处于状态 j ,时刻 t+1 处于状态 j 的概率
然后,EM算法的整体过程为选定一个flat-start(训练数据的均值、方差作为GMM初始均值和方差)或者K-means,和将HMM的forward和self-loop初始概率设置为0.75、0.25。具体如下:
E-step:
For all time-state pairs
1. 递归计算前向、后向概率: αt(j) , βt(j)
2. 计算the State Occupation Probability γt(j,m) 和 ξt(i,j)
M-step:
基于 γt(j) 和 ξt(i,j) ,重估single-Gaussian/HMM的均值、方差和转移概率:
进一步拓展到语料库(a corpus of utterances ),GMM作为HMM观测PDF。
E-step:
for all time-state pairs
1. 递归计算前向、后向概率: αrt(j) , βrt(j)
2. 计算the component-state occupation probabilities γrt(j,m) 和 ξrt(i,j)
M-step:
基于 γrt(j,m) 和 ξrt(i,j) ,重估GMM/HMMs的均值、方差、混合系数和转移概率:
这样迭代至收敛,就得到GMM-HMMs所有参数了。当然,如果我们建模单元是Triphone(三音素),那么就需要进行一系列优化,以解决训练数据稀疏性问题。
文章浏览阅读1.6k次。安装配置gi、安装数据库软件、dbca建库见下:http://blog.csdn.net/kadwf123/article/details/784299611、检查集群节点及状态:[root@rac2 ~]# olsnodes -srac1 Activerac2 Activerac3 Activerac4 Active[root@rac2 ~]_12c查看crs状态
文章浏览阅读1.3w次,点赞45次,收藏99次。我个人用的是anaconda3的一个python集成环境,自带jupyter notebook,但在我打开jupyter notebook界面后,却找不到对应的虚拟环境,原来是jupyter notebook只是通用于下载anaconda时自带的环境,其他环境要想使用必须手动下载一些库:1.首先进入到自己创建的虚拟环境(pytorch是虚拟环境的名字)activate pytorch2.在该环境下下载这个库conda install ipykernelconda install nb__jupyter没有pytorch环境
文章浏览阅读5.2k次,点赞19次,收藏28次。选择scoop纯属意外,也是无奈,因为电脑用户被锁了管理员权限,所有exe安装程序都无法安装,只可以用绿色软件,最后被我发现scoop,省去了到处下载XXX绿色版的烦恼,当然scoop里需要管理员权限的软件也跟我无缘了(譬如everything)。推荐添加dorado这个bucket镜像,里面很多中文软件,但是部分国外的软件下载地址在github,可能无法下载。以上两个是官方bucket的国内镜像,所有软件建议优先从这里下载。上面可以看到很多bucket以及软件数。如果官网登陆不了可以试一下以下方式。_scoop-cn
文章浏览阅读4.5k次,点赞2次,收藏3次。首先要有一个color-picker组件 <el-color-picker v-model="headcolor"></el-color-picker>在data里面data() { return {headcolor: ’ #278add ’ //这里可以选择一个默认的颜色} }然后在你想要改变颜色的地方用v-bind绑定就好了,例如:这里的:sty..._vue el-color-picker
文章浏览阅读640次。基于芯片日益增长的问题,所以内核开发者们引入了新的方法,就是在内核中只保留函数,而数据则不包含,由用户(应用程序员)自己把数据按照规定的格式编写,并放在约定的地方,为了不占用过多的内存,还要求数据以根精简的方式编写。boot启动时,传参给内核,告诉内核设备树文件和kernel的位置,内核启动时根据地址去找到设备树文件,再利用专用的编译器去反编译dtb文件,将dtb还原成数据结构,以供驱动的函数去调用。firmware是三星的一个固件的设备信息,因为找不到固件,所以内核启动不成功。_exynos 4412 刷机
文章浏览阅读2w次,点赞24次,收藏42次。Linux系统配置jdkLinux学习教程,Linux入门教程(超详细)_linux配置jdk
文章浏览阅读3.3k次,点赞5次,收藏19次。xlabel('\delta');ylabel('AUC');具体符号的对照表参照下图:_matlab微米怎么输入
文章浏览阅读119次。顺序读写指的是按照文件中数据的顺序进行读取或写入。对于文本文件,可以使用fgets、fputs、fscanf、fprintf等函数进行顺序读写。在C语言中,对文件的操作通常涉及文件的打开、读写以及关闭。文件的打开使用fopen函数,而关闭则使用fclose函数。在C语言中,可以使用fread和fwrite函数进行二进制读写。 Biaoge 于2024-03-09 23:51发布 阅读量:7 ️文章类型:【 C语言程序设计 】在C语言中,用于打开文件的函数是____,用于关闭文件的函数是____。
文章浏览阅读3.4k次,点赞2次,收藏13次。跟随鼠标移动的粒子以grid(SOP)为partical(SOP)的资源模板,调整后连接【Geo组合+point spirit(MAT)】,在连接【feedback组合】适当调整。影响粒子动态的节点【metaball(SOP)+force(SOP)】添加mouse in(CHOP)鼠标位置到metaball的坐标,实现鼠标影响。..._touchdesigner怎么让一个模型跟着鼠标移动
文章浏览阅读178次。项目运行环境配置:Jdk1.8 + Tomcat7.0 + Mysql + HBuilderX(Webstorm也行)+ Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。项目技术:Springboot + mybatis + Maven +mysql5.7或8.0+html+css+js等等组成,B/S模式 + Maven管理等等。环境需要1.运行环境:最好是java jdk 1.8,我们在这个平台上运行的。其他版本理论上也可以。_基于java技术的停车场管理系统实现与设计
文章浏览阅读3.5k次。前言对于MediaPlayer播放器的源码分析内容相对来说比较多,会从Java-&amp;gt;Jni-&amp;gt;C/C++慢慢分析,后面会慢慢更新。另外,博客只作为自己学习记录的一种方式,对于其他的不过多的评论。MediaPlayerDemopublic class MainActivity extends AppCompatActivity implements SurfaceHolder.Cal..._android多媒体播放源码分析 时序图
文章浏览阅读2.4k次,点赞41次,收藏13次。java 数据结构与算法 ——快速排序法_快速排序法