飞桨深度学习平台设计之“道” 使用飞桨构建波士顿房价预测模型 数据处理 模型设计 训练配置 训练过程 保存并测试模型 保存模型 测试模型 作业1-6 飞桨深度学习平台设计之“道” 当读者习惯使用飞桨框架后会发现程序呈现出“八股文”的形态，即不同的程序员、使用不同模型、解决不同任务的时候，他们编写的建模程序是极其相似的。虽然这些...

使用Paddle-TensorRT库预测 内容 编译Paddle-TRT预测库 Paddle-TRT接口使用 Paddle-TRT样例编译测试 Paddle-TRT INT8使用 Paddle-TRT子图运行原理 使用Paddle-TensorRT库预测 NVIDIA TensorRT 是一个高性能的深度学习预测库，可为深度学习推理应用程...

激活函数 激活函数 激活函数将非线性的特性引入到神经网络当中。 PaddlePaddle Fluid 对大部分的激活函数进行了支持，其中有: relu , tanh , sigmoid , elu , relu6 , pow , stanh , hard_sigmoid , swish , prelu , brelu , leaky_relu ,...

策略梯度 正如前面所讨论的，PG 算法通过遵循更高回报的梯度来优化策略参数。一种流行的 PG 算法，称为增强算法，在 1929 由 Ronald Williams 提出。这是一个常见的变体： 首先，让神经网络策略玩几次游戏，并在每一步计算梯度，这使得智能体更可能选择行为，但不应用这些梯度。 运行几次后，计算每个动作的得分（使用前面段落中描述的方法...

单机训练 准备工作 初始化参数 参数随机初始化 载入预定义参数 单卡训练 多卡训练 进阶使用 单机训练 准备工作 要进行PaddlePaddle Fluid单机训练，需要先 准备数据 和配置简单的网络 。当配置简单的网络 完毕后，可以得到两个fluid.Program ， startup_program 和 main_pro...

10.11. 注意力机制 10.11.1. 计算背景变量 10.11.1.1. 矢量化计算 10.11.2. 更新隐藏状态 10.11.3. 发展 10.11.4. 小结 10.11.5. 练习 10.11.6. 参考文献 10.11. 注意力机制 在“编码器—解码器（seq2seq）” 一节里，解码器在各个时间步依赖相同的背景变量来获...

文件描述符 应用 限制 文件描述符 Linux很重要的设计思想就是一切皆文件，网络是文件，键盘等外设也是文件，很神奇吧？于是所有资源都有了统一的接口，开发者可以像写文件那样通过网络传输数据，我们也可以通过/proc/ 的文件看到进程的资源使用情况。 内核给每个访问的文件分配了文件描述符(File Descriptor)，它本质是一个非负整数，在...

OneFlow 的并行特色 网络模型训练的逻辑图 Consistent 视角下的并行特色 纯数据并行 纯模型并行 选择最优的并行方式 混合并行实例 代码 代码解读 流水并行实例 代码 代码解读 OneFlow 的并行特色 在 Consistent 与 Mirrored 视角 中，我们已经知道 OneFlow 提供了 mirrore...

一、RNN计算图 1.1 展开图 1.2 网络模式 1.2.1 零长度输入序列 1.2.2 单长度输入序列 1.2.3 多长度输入序列 1.3 输出序列长度 一、RNN计算图 1.1 展开图 考虑动态系统的经典形式： 。其中： 称作系统的状态， 为参数。 对于有限的时间步 ，应用 次定义可以展开这个图： 利用有向无环图...

11、致谢 我要感谢我的 Google 同事，特别是 Youtube 视频分类小组，教给我很多关于机器学习的知识。没有他们，我永远无法开始这个项目。特别感谢我的个人 ML 专家：Clément Courbet, Julien Dubois, Mathias Kende, Daniel Kitachewsky, James Pack, Alexander ...