六、ResNet 变种 6.1 恒等映射修正 6.1.1 新残差块 6.1.2 快捷连接验证 6.1.3 激活函数验证 6.1.4 网络性能 6.2 ResNeXt 6.2.1 分裂-变换-合并 6.2.2 ResNeXt 块 6.2.3 网络性能 6.3 随机深度网络 6.3.1 随机深度 6.3.2 网络性能 六、ResN...

10. 自然语言处理 10. 自然语言处理 自然语言处理关注计算机与人类之间的自然语言交互。在实际中，我们常常使用自然语言处理技术，如“循环神经网络”一章中介绍的语言模型，来处理和分析大量的自然语言数据。本章中，根据输入与输出的不同形式，我们按“定长到定长”、“不定长到定长”、“不定长到不定长”的顺序，逐步展示在自然语言处理中如何表征并变换定长的词或...

原理和设计 基本交易过程 重要概念 账户/地址 交易 交易脚本 区块 创新设计 如何避免作恶 负反馈调节 共识机制 原理和设计 比特币网络是一个分布式的点对点网络，网络中的矿工通过“挖矿”来完成对交易记录的记账过程，维护网络的正常运行。 区块链网络提供一个公共可见的记账本，该记账本并非记录每个账户的余额，而是用来记录发生过的交易...

神经网络策略 让我们创建一个神经网络策略。就像之前我们编码的策略一样，这个神经网络将把观察作为输入，输出要执行的动作。更确切地说，它将估计每个动作的概率，然后我们将根据估计的概率随机地选择一个动作（见图 16-5）。在 CartPole 环境中，只有两种可能的动作（左或右），所以我们只需要一个输出神经元。它将输出动作 0（左）的概率p ，动作 1（右）的...

Bloom Filter是由Bloom在1970年提出的一种快速查找算法，通过多个hash算法来共同判断某个元素是否在某个集合内。可以用于网络爬虫的url重复过滤、垃圾邮件的过滤等等。 它相比hash容器的一个优势就是，不需要存储元素的实际数据到容器中去来一个个的比较是否存在。 只需要对应的位段来标记是否存在就行了，所以想当节省内存，特别适合海量的数据处...

Paxos 算法与 Raft 算法 Paxos 算法 基本原理 单个提案者+多接受者 多个提案者+单个接受者 多个提案者+多个接受者 两阶段的提交 Raft 算法 Paxos 算法与 Raft 算法 Paxos 问题是指分布式的系统中存在故障（crash fault），但不存在恶意（corrupt）节点的场景（即可能消息丢失或重复，但无...

八、MT-DNN 8.1 模型 8.1.1 模型结构 8.1.2 task-specific 结构 8.1.3 模型训练 8.2 实验 8.2.1 数据集和参数 8.2.2 实验结果 八、MT-DNN 神经网络的监督学习需要大量的标记数据，通常这些标记数据难以获取。为了解决这个困难，有两种策略： 预训练学习Pretrain Lea...

二、马尔可夫链 2.1 马尔可夫链示例 2.2 平稳分布 二、马尔可夫链 马尔可夫链是满足马尔可夫性质的随机过程。 马尔可夫链 描述了一个状态序列，其中每个状态值取决于前一个状态。 为随机变量，称为时刻 的状态，其取值范围称作状态空间。 马尔可夫链的数学定义为： 。 2.1 马尔可夫链示例 社会学家把人按照经济状况分成三类...

使用PyTorch进行深度学习 深度学习构建模块：仿射变换, 非线性函数以及目标函数 仿射变换 非线性函数 Softmax和概率 目标函数 优化和训练 使用PyTorch创建网络组件 示例: 基于逻辑回归与词袋模式的文本分类器 使用PyTorch进行深度学习 译者：bdqfork 校对者：FontTian 作者 : Ro...