六、先验分布与后验分布

  1. 在贝叶斯学派中，先验分布+数据（似然）= 后验分布 。

  2. 例如：假设需要识别一大箱苹果中的好苹果、坏苹果的概率。

    • 根据你对苹果好、坏的认知，给出先验分布为：50个好苹果和50个坏苹果。

    • 现在你拿出10个苹果，发现有：8个好苹果，2个坏苹果。

      根据数据，你得到后验分布为：58个好苹果，52个坏苹果

    • 再拿出10个苹果，发现有：9个好苹果，1个坏苹果。

      根据数据，你得到后验分布为：67个好苹果，53个坏苹果

    • 这样不断重复下去，不断更新后验分布。当一箱苹果清点完毕，则得到了最终的后验分布。

    在这里：

    • 如果不使用先验分布，仅仅清点这箱苹果中的好坏，则得到的分布只能代表这一箱苹果。
    • 采用了先验分布之后得到的分布，可以认为是所有箱子里的苹果的分布。
    • 当采用先验分布时：给出的好、坏苹果的个数（也就是频数）越大，则先验分布越占主导地位。

  3. 假设好苹果的概率为 六、先验分布与后验分布 - 图1 ，则抽取 六、先验分布与后验分布 - 图2 个苹果中，好苹果个数为 六、先验分布与后验分布 - 图3 个的概率为一个二项分布：

    六、先验分布与后验分布 - 图4

    其中 六、先验分布与后验分布 - 图5 为组合数。

  4. 现在的问题是：好苹果的概率 六、先验分布与后验分布 - 图6 不再固定，而是服从一个分布。

    假设好苹果的概率 六、先验分布与后验分布 - 图7 的先验分布为贝塔分布：六、先验分布与后验分布 - 图8 。

    则后验概率为：

    六、先验分布与后验分布 - 图9

    归一化之后，得到后验概率为：

    六、先验分布与后验分布 - 图10

  5. 好苹果概率 六、先验分布与后验分布 - 图11 的先验分布的期望为：六、先验分布与后验分布 - 图12 。好苹果概率 六、先验分布与后验分布 - 图13 的后验分布的期望为：六、先验分布与后验分布 - 图14 。

    • 根据上述例子所述：

      • 好苹果的先验概率的期望为 六、先验分布与后验分布 - 图15
      • 进行第一轮数据校验之后，好苹果的后验概率的期望为 六、先验分布与后验分布 - 图16

    • 如果将 六、先验分布与后验分布 - 图17 视为先验的好苹果数量， 六、先验分布与后验分布 - 图18 视为先验的坏苹果数量， 六、先验分布与后验分布 - 图19 表示箱子中苹果的数量， 六、先验分布与后验分布 - 图20 表示箱子中的好苹果数量（相应的， 六、先验分布与后验分布 - 图21 就是箱子中坏苹果的数量）。则：好苹果的先验概率分布的期望、后验概率分布的期望符合人们的生活经验。

    • 这里使用先验分布和后验分布的期望，因为 六、先验分布与后验分布 - 图22 是一个随机变量。若想通过一个数值来刻画好苹果的可能性，则用期望较好。

  6. 更一般的，如果苹果不仅仅分为好、坏两种，而是分作尺寸1、尺寸2、...尺寸K等。则 六、先验分布与后验分布 - 图23 个苹果中，有 六、先验分布与后验分布 - 图24 个尺寸1的苹果、 六、先验分布与后验分布 - 图25 个尺寸2的苹果….六、先验分布与后验分布 - 图26 个尺寸 六、先验分布与后验分布 - 图27 的苹果的概率服从多项式分布：

    六、先验分布与后验分布 - 图28

    其中苹果为尺寸1的概率为 六、先验分布与后验分布 - 图29， 尺寸2的概率为 六、先验分布与后验分布 - 图30 ，… 尺寸 六、先验分布与后验分布 - 图31 的概率为 六、先验分布与后验分布 - 图32 ， 六、先验分布与后验分布 - 图33

    • 假设苹果尺寸的先验概率分布为狄利克雷分布：六、先验分布与后验分布 - 图34 。

      苹果尺寸的先验概率分布的期望为：六、先验分布与后验分布 - 图35 。

    • 则苹果尺寸的后验概率分布也为狄里克雷分布：六、先验分布与后验分布 - 图36 。

      苹果尺寸的后验概率分布的期望为：六、先验分布与后验分布 - 图37 。