10.5. 全局向量的词嵌入（GloVe） 10.5.1. GloVe模型 10.5.2. 从条件概率比值理解GloVe模型 10.5.3. 小结 10.5.4. 练习 10.5.5. 参考文献 10.5. 全局向量的词嵌入（GloVe） 让我们先回顾一下word2vec中的跳字模型。将跳字模型中使用softmax运算表达的条件概率 记...

二、 HMM 基本问题 2.1 概率计算问题 2.1.1 前向算法 2.1.2 后向算法 2.1.3 统一形式 2.2 学习问题 2.2.1 监督学习 2.2.2 无监督学习 2.3 预测问题 2.3.1 近似算法 2.3.2 维特比算法 二、 HMM 基本问题 隐马尔可夫模型的 3 个基本问题： 概率计算问题：给定模型 ...

其它技术 零知识证明 可验证随机函数 安全多方计算 不经意传输 差分隐私 量子密码学 社交工程学 其它技术 密码学领域涉及到的技术还有许多，这里总结一些还在发展和探讨中的话题。 零知识证明 零知识证明（Zero Knowledge Proof），是这样的一个过程，证明者在不向验证者提供任何额外信息的前提下，使验证者相信某个论断（Sta...

样本分析 描述统计 T检验和KS检验 分布尾部 正态分布的特殊检验 样本分析 首先，我们创建一些随机变量。我们设置一个种子所以每次我们都可以得到相同的结果以便观察。作为一个例子，我们从t分布中抽一个样本。 >>> np . random . seed ( 282629734 ) >>> x = stats . t . rvs (...

九、CANE 9.1 模型 9.1.1 上下文无关文本 embedding 9.1.2 上下文相关文本embedding 9.1.3 最优化 9.2 实验 9.2.1 链接预测任务 9.2.2 顶点分类任务 9.2.3可视化 九、CANE 一个顶点在和不同的邻居顶点交互时，通常表现出不同的形象aspect 。例如： 一个学者可...

FLP 不可能性原理 FLP 不可能性原理 FLP 不可能原理：在网络可靠，存在节点失效（即便只有一个）的最小化异步模型系统中，不存在一个可以解决一致性问题的确定性算法。 提出该定理的论文是由 Fischer, Lynch 和 Patterson 三位作者于 1985 年发表，该论文后来获得了 Dijkstra（就是发明最短路径算法的那位）奖...

三、机器学习三要素 3.1 模型 3.2 策略 3.2.1 损失函数 3.2.2 风险函数 3.2.3 经验风险 3.2.4 极大似然估计 3.2.5 最大后验估计 3.3 算法 三、机器学习三要素 机器学习三要素：模型、策略、算法。 3.1 模型 模型定义了解空间。监督学习中，模型就是要学习的条件概率分布或者决策函数。 ...

六、概率PCA 6.1 参数求解 6.1.1 解析解 6.1.2 EM算法解 6.2 性质 6.3 因子分析 六、概率PCA 定义隐变量 ，它属于低维空间（也称作隐空间，即隐变量所在的空间）。假设 的先验分布为高斯分布： ，其均值为 ，协方差矩阵为 。 定义观测变量 ，它属于高维空间。假设条件概率分布 也是高斯分布： 。其...

策略搜索 被智能体使用去改变它行为的算法叫做策略。例如，策略可以是一个把观测当输入，行为当做输出的神经网络（见图16-2）。 这个策略可以是你能想到的任何算法，它甚至可以不被确定。举个例子，例如，考虑一个真空吸尘器，它的奖励是在 30 分钟内捡起的灰尘数量。它的策略可以是每秒以概率P 向前移动，或者以概率1-P 随机地向左或向右旋转。旋转角度将是-...

14、半监督学习 上篇主要介绍了机器学习的理论基础，首先从独立同分布引入泛化误差与经验误差，接着介绍了PAC可学习的基本概念，即以较大的概率学习出与目标概念近似的假设（泛化误差满足预设上限），对于有限假设空间：（1）可分情形时，假设空间都是PAC可学习的，即当样本满足一定的数量之后，总是可以在与训练集一致的假设中找出目标概念的近似；（2）不可分情形时，...