AUTOGRAD Computation Graph Automatic Gradient backward() and Gradient Gradient for Non-leaf Nodes Call backward() Multiple Times on a Computation Graph Disabled Gradient Calc...

原接口兼容 原接口兼容 本专题仅仅是为兼容原接口而保留。如果您未使用过 v0.4.0 及之前的版本，请 直接忽略掉本专题的所有内容 。 在 OneFlow v0.4.0 版本及以前，OneFlow 的接口是非面向对象的。现有版本的动态图、静态图模式均提供了面向对象接口。 为了照顾老接口的用户，OneFlow 将老接口移动至 oneflow.com...

用 launch 模块启动分布式训练 常见选项说明 launch 模块与并行策略的关系 用 launch 模块启动分布式训练 OneFlow 提供了 oneflow.distributed.launch 模块帮助用户更方便地启动分布式训练。 用户可以借助以下的形式，启动分布式训练： python3 - m oneflow . distrib...

模型的加载与保存 模型参数的获取与加载 模型保存 模型加载 使用预训练模型进行预测 模型的加载与保存 对于模型的加载与保存，常用的场景有： 将已经训练一段时间的模型保存，方便下次继续训练 将训练好的模型保存，方便后续直接用于预测 在本文中，我们将介绍，如何使用 save 和 load API 保存模型、加载模型。 同时也会展示，如何...

DATA PARALLELISM TRAINING Codes DistributedSampler DATA PARALLELISM TRAINING In Common Distributed Parallel Strategies , we introduced the characteristics of data parallel. O...

Autograd 计算图 自动求梯度 backward 与梯度 对非叶子节点求梯度 对一个计算图多次 backward() 不记录某个 Tensor 的梯度 输出不是标量时如何求梯度 扩展阅读 Autograd 神经网络的训练过程离不开 反向传播算法 ，在反向传播过程中，需要获取 loss 函数对模型参数的梯度，用于更新参数。 On...

The Definition and Call of Job Function The Relationship Between Job Function and Running Process of OneFlow The Definition of Job Function The Parameters of oneflow.global_functi...

作业函数的定义与调用 作业函数与 OneFlow 运行流程的关系 作业函数的定义 oneflow.global_function 的参数 数据占位符 作业函数的返回值 作业函数的调用 作业函数的定义与调用 在 OneFlow 中，我们将训练、预测任务封装在一个函数中，统称为作业函数(job function)，作业函数联系用户的业务逻辑与...