一、隐马尔可夫模型HMM

1. 隐马尔可夫模型（Hidden Markov model,HMM）是可用于序列标注问题的统计学模型，描述了由隐马尔可夫链随机生成观察序列的过程，属于生成模型。

2. 隐马尔可夫模型：隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观察而产生观察随机序列的过程。

   • 隐藏的马尔可夫链随机生成的状态的序列称作状态序列。
   • 每个状态生成一个观测，而由此产生的观测的随机序列称作观测序列。
   • 序列的每一个位置又可以看作是一个时刻。

1.1 基本概念

1. 设 是所有可能的状态的集合， 是所有可能的观测的集合，其中 是可能的状态数量， 是可能的观测数量。

   • 是状态的取值空间， 是观测的取值空间 。
   • 每个观测值 可能是标量，也可能是一组标量构成的集合，因此这里用加粗的黑体表示。状态值的表示也类似。

2. 设 是长度为 的状态序列， 是对应的观测序列。

   • 是一个随机变量，代表状态 。
   • 是一个随机变量，代表观测 。

3. 设 为状态转移概率矩阵

   

   其中 ，表示在时刻 处于状态 的条件下，在时刻 时刻转移到状态 的概率。

4. 设 为观测概率矩阵

   

   其中 ，表示在时刻 处于状态 的条件下生成观测 的概率。

5. 设 是初始状态概率向量： 是时刻 时处于状态 的概率。

   根据定义有： 。

6. 隐马尔可夫模型由初始状态概率向量 、状态转移概率矩阵 以及观测概率矩阵 决定。因此隐马尔可夫模型 可以用三元符号表示，即 ： 。其中 称为隐马尔可夫模型的三要素：

   • 状态转移概率矩阵 和初始状态概率向量 确定了隐藏的马尔可夫链，生成不可观测的状态序列。
   • 观测概率矩阵 确定了如何从状态生成观测，与状态序列一起确定了如何产生观测序列。

7. 从定义可知，隐马尔可夫模型做了两个基本假设：

   • 齐次性假设：即假设隐藏的马尔可夫链在任意时刻 的状态只依赖于它在前一时刻的状态，与其他时刻的状态和观测无关，也与时刻 无关，即：

     

   • 观测独立性假设，即假设任意时刻的观测值只依赖于该时刻的马尔可夫链的状态，与其他观测及状态无关，即：

     

     .

1.2 生成算法

1. 隐马尔可夫模型可以用于标注问题：给定观测的序列，预测其对应的状态序列。 如：词性标注问题中，状态就是单词的词性，观测就是具体的单词。在这个问题中：

   • 状态序列：词性序列 。

   • 观察序列：单词序列 。

   • 生成方式：

     • 给定初始状态概率向量 ，随机生成第一个词性。
     • 根据前一个词性，利用状态转移概率矩阵 随机生成下一个词性。
     • 一旦生成词性序列，则根据每个词性，利用观测概率矩阵 生成对应位置的观察，得到观察序列。

2. 一个长度为 的观测序列的 HMM 生成算法：

   • 输入：

     • 隐马尔可夫模型
     • 观测序列长度

   • 输出：观测序列

   • 算法步骤：

     • 按照初始状态分布 产生状态 。

     • 令 ，开始迭代。迭代条件为： 。迭代步骤为：

       • 按照状态 的观测概率分布 生成 ， 。
       • 按照状态 的状态转移概率分布 产生状态 。
       • 令 。