常见的分布式并行策略 为什么分布式训练越来越流行 常见的并行策略 数据并行 模型并行 流水并行 混合并行 常见的分布式并行策略 为什么分布式训练越来越流行 近年来，深度学习被广泛应用到各个领域，包括计算机视觉、语言理解、语音识别、广告推荐等。在这些不同的领域中，一个共同的特点就是模型规模越来越大，比如 GPT-3 模型的参数量达到1750...

VisualDL 使用指南 概述 动态添加数据组件 LogWriter — 记录器 scalar — 折线图组件 histogram — 直方图组件 image — 图片可视化组件 text — 文本组件 audio — 音频播放组件 high dimensional — 数据降维组件 graph — 神经网络可视化组件 Visu...

LeNet LeNet LeNet是最早的卷积神经网络之一[1]。1998年，Yan LeCun第一次将LeNet卷积神经网络应用到图像分类上，在手写数字识别任务中取得了巨大成功。LeNet通过连续使用卷积和池化层的组合提取图像特征，其架构如 图1 所示，这里展示的是作者论文中的LeNet-5模型： 图1：LeNet模型网络结构示意图 ...

Sublime 编辑器 介绍 安装 Windows/OS X Ubuntu Sublime 快捷键 推荐插件 1.Package Control 2.Emmet 3.JQuery 4.FileHeader 5.Pretty Json 6.CSS Format 7.ConvertToUTF8 用户自定义代码 Sublime ...

DIY四轴飞行器如何入门？ 大四轴 小四轴 DIY四轴飞行器如何入门？ 作者： 电子匠人 作者：电子匠人，本文在知乎同标题帖 基础上编辑而成。 先回答入门书籍的问题。在淘宝和京东上没见到过DIY四轴的书籍，有一些飞行器的也是建模神马的天书。当时在京东买了一本《空中机器人（四旋翼）专项教育教材》，妈蛋这么偏僻我都找到了！！！！快递到了兴高...

Differentiable programming (WIP) Differentiable programming (WIP) This page is work in progress. Please check out the DiffTaichi paper and video to learn more about Taichi di...

四、隐单元 4.1 修正线性单元 4.2 maxout 单元 4.3 sigmoid / tanh 单元 4.4 其他隐单元 4.5 激活函数对比 四、隐单元 隐单元的设计是一个非常活跃的研究领域，并且目前还没有明确的指导性理论，难以决定何时采用何种类型的隐单元。 通常不能预先判断哪种类型的隐单元工作的最好，所以设计过程中需要反复试错...

6、其他资源 有许多资源可用于了解机器学习。Andrew Ng 在 Coursera 上的 ML 课程 和 Geoffrey Hinton 关于神经网络和深度学习 的课程都是非常棒的，尽管这些课程需要大量的时间投入（大概是几个月）。 还有许多关于机器学习的比较有趣的网站，当然还包括 scikit-learn 出色的 用户指南 。你可能会喜欢上 Dat...

训练神经网络 训练神经网络 PaddlePaddle Fluid支持单机训练和多节点训练。每种训练模式下，都支持多种训练方法，本部分包含以下内容： 单机训练 多机训练 模型/变量的保存、载入与增量训练