亚线性内存优化 亚线性内存优化 使用大 batch size 通常能够提升深度学习模型性能。然而，我们经常遇到的困境是有限的 GPU 内存资源无法满足大 batch size 模型训练。为了缓解这一问题， MegEngine 提供了亚线性内存 ( sublinear memory ) 优化技术用于降低网络训练的内存占用量。该技术基于 grad...

数据加载与处理 利用 Dataset 封装一个数据集 通过 Sampler 从 Dataset 中采样 用 DataLoader 生成批数据 DataLoader 中的数据变换（Transform） 组合变换（Compose Transform） 数据加载与处理 在网络训练与测试中，数据的加载和预处理往往会耗费大量的精力。MegEn...

欢迎使用 MegEngine MegEngine 简介 学习 MegEngine 安装说明 欢迎使用 MegEngine MegEngine 简介 MegEngine 是旷视完全自主研发的深度学习框架，中文名为“天元”，是旷视 AI 战略的重要组成部分，负责 AI 三要素（算法，算力，数据）中的“算法”。MegEngine 的研发始...

网络的训练和测试 网络的训练和保存 损失函数 优化器 训练示例 GPU和CPU切换 网络的保存 网络的加载和测试 网络的加载 eval() 和 train() 测试代码示例 网络的训练和测试 本章我们以 网络搭建 中的 LeNet 为例介绍网络的训练和测试。 LeNet 的实例化代码如下所示： # 实例化 le_...

引言 引言 在这部分，您将了解 MegEngine 的基础概念和基本使用方法。 为了学习这部分内容，您需要： 根据 安装说明 成功安装 MegEngine。 具备 Python 和 NumPy 的基础知识。 您不需要： 了解其它的深度学习框架，如 PyTorch。 具备机器学习和深度神经网络的背景知识。 这部分...

引言 引言 在这部分，您将了解 MegEngine 的一些高级用法。 为了学习这部分内容，您需要掌握 基础学习 内容。 这部分共包含四个小节，彼此相对独立，您可以根据个人兴趣和需求进行选择性阅读。 分布式训练 ：介绍如何进行分布式训练模型。 更细粒度的参数优化设置 ：介绍更加细粒度的参数优化设置方法。 亚线性内存优化 ...

动态图与静态图 静态图 动态图转静态图 静态图转动态图 完整训练示例 静态图下的测试 动态图与静态图 网络的训练和测试 中的网络基于 动态计算图 ，其核心特点是计算图的构建和计算同时发生（define by run）。在计算图中定义一个 Tensor 时，其值就已经被计算且确定了。这种模式在调试模型时较为方便，能够实时得到中间结...

基本概念 计算图（Computation Graph） 张量（Tensor） 算子（Operator） 不同设备上的 Tensor 反向传播和自动求导 基本概念 MegEngine 是基于计算图的深度神经网络学习框架。本节内容会简要介绍计算图及其相关基本概念，以及它们在 MegEngine 中的实现。 计算图（Computat...

分布式训练 单机多卡 通信机制简介 初始化分布式训练 数据处理流程 训练状态同步 模型保存与加载 使用 DataLoader 进行数据加载 多机多卡 分布式训练 本章我们将介绍如何在 MegEngine 中高效地利用多GPU进行分布式训练。分布式训练是指同时利用一台或者多台机器上的 GPU 进行并行计算。在深度学习领域，最常见...

网络搭建 基于 functional 搭建网络 基于 Module 搭建网络 网络搭建 在 基本概念 中我们介绍了计算图、张量和算子，神经网络可以看成一个计算图。在 MegEngine 中，我们按照计算图的拓扑结构，将张量和算子连接起来，即可完成对网络的搭建。MegEngine 提供了基于 functional 和基于 Module...