将图片文件制作为 OFRecord 数据集 用图片文件制作 OFRecord 文件 代码解读 脚本的编码流程 使用自制的 OFRecord 数据集进行训练 将图片文件制作为 OFRecord 数据集 在 OFRecord 数据格式 和 加载与准备 OFRecord 数据集 中，我们分别学习了 OFRecord 数据格式，以及如何将其它数据集...

PIPELINING PARALLELISM More Details Setting placement and SBP Transforming the Local Tensor to the Consistent Tensor Stage ID and Settings for Gradient Accumulation PIPELI...

Data Input Build a Neural Network Optimization Algorithm and Parameter Configuration Get results from job function Loading and saving of model Distributed training Term & C...

Contribute to OneFlow

搭建神经网络 定义 Module 类 flow.nn.functional Module 容器 搭建神经网络 ​神经网络的各层，可以使用 oneflow.nn 名称空间下的 API 搭建，它提供了构建神经网络所需的常见 Module（如 oneflow.nn.Conv2d ，oneflow.nn.ReLU 等等）。 用于搭建网络的所有 Mo...

将图片文件制作为 OFRecord 数据集 用图片文件制作 OFRecord 文件 代码解读 脚本的编码流程 使用自制的 OFRecord 数据集进行训练 将图片文件制作为 OFRecord 数据集 在 OFRecord 数据格式 和 加载与准备 OFRecord 数据集 中，我们分别学习了 OFRecord 数据格式，以及如何将其它数据集...

Convert Image Files to OFRecord Datasets Make OFRecord Datasets Based on Image Files Code Explanation How OFRecord Reader is Encoded Training on OFRecord Dataset Convert Ima...

常见的分布式并行策略 为什么分布式训练越来越流行 常见的并行策略 数据并行 模型并行 流水并行 混合并行 常见的分布式并行策略 为什么分布式训练越来越流行 近年来，深度学习被广泛应用到各个领域，包括计算机视觉、语言理解、语音识别、广告推荐等。在这些不同的领域中，一个共同的特点就是模型规模越来越大，比如 GPT-3 模型的参数量达到1750...