一、概率图模型

1. 考虑三个随机变量 ，其联合概率分布为：

   

   • 对每个随机变量引入一个节点，然后为每个节点关联上式右侧对应的条件概率。

   • 对于每个条件概率分布，在图中添加一个链接（箭头）：箭头的起点是条件概率的条件代表的结点。

     对于因子 ，因为它不是条件概率，因此没有输入的链接。

   • 如果存在一个从结点 到结点 的链接，则称结点 是结点 的父节点，结点 是结点 的子节点。

   • 可以看到，上式的左侧关于随机变量 是对称的，但是右侧不是。

     实际上通过对 的分解，隐式的选择了一个特定的顺序（即 ）。如果选择一个不同的顺序，则得到一个不同的分解方式，因此也就得到一个不同的图的表现形式。

   

2. 对于 个随机变量的联合概率分布，有：

   

   • 它对应于一个具有 个结点的有向图。

     • 每个结点对应于公式右侧的一个条件概率分布。
     • 每个结点的输入链接包含了所有的编号低于它的结点。

   • 这个有向图是全链接的，因为每对结点之间都存在一个链接。

     实际应用中，真正有意义的信息是图中的链接的缺失，因为：

     • 全链接的计算量太大。
     • 链接的缺失代表了某些随机变量之间的不相关或者条件不相关。

   • 设节点 的父节点集合为 ，则所有随机变量的联合概率分布为：

     

3. 前面讨论的是：每个结点对应于一个变量。可以很容易的推广到每个结点代表一个变量的集合（或者关联到一个向量）的情形。

   可以证明：如果上式右侧的每一个条件概率分布都是归一化的，则这个表示方法整体总是归一化的。

4. 概率图模型probabilistic graphical model 就是一类用图来表达随机变量相关关系的概率模型：

   • 用一个结点表示一个或者一组随机变量。
   • 结点之间的边表示变量间的概率相关关系。

   概率图描述了：联合概率分布在所有随机变量上能够分解为一组因子的乘积的形式，而每个因子只依赖于随机变量的一个子集。

5. 根据边的性质不同，概率图模型可以大致分为两类：

   • 使用有向无环图表示随机变量间的依赖关系，称作有向图模型或者贝叶斯网络Bayesian network。

     有向图对于表达随机变量之间的因果关系很有用。

   • 使用无向图表示随机变量间的相关关系，称作无向图模型或者马尔可夫网络Markov network 。

     无向图对于表达随机变量之间的软限制比较有用。

6. 概率图模型的优点：

   • 提供了一个简单的方式将概率模型的结构可视化。
   • 通过观察图形，可以更深刻的认识模型的性质，包括条件独立性。
   • 高级模型的推断和学习过程中的复杂计算可以利用图计算来表达，图隐式的承载了背后的数学表达式。