复用预训练层 从零开始训练一个非常大的 DNN 通常不是一个好主意，相反，您应该总是尝试找到一个现有的神经网络来完成与您正在尝试解决的任务类似的任务，然后复用这个网络的较低层：这就是所谓的迁移学习。这不仅会大大加快训练速度，还将需要更少的训练数据。 例如，假设您可以访问经过训练的 DNN，将图片分为 100 个不同的类别，包括动物，植物，车辆和日常物品...

六、GGS-NN 6.1 模型 6.1.1 GNN回顾 6.1.2 GG-NN模型 6.1.3 GGS-NNs 模型 6.2 application 6.2.1 bAbI 任务 6.2.2 讨论 六、GGS-NN 目前关于图神经网络模型的工作主要集中在单输出模型上，如graph-level 的分类。实际上有一些图任务需要输出序列，如...

激活函数 激活函数 激活函数将非线性的特性引入到神经网络当中。 PaddlePaddle Fluid 对大部分的激活函数进行了支持，其中有: relu , tanh , sigmoid , elu , relu6 , pow , stanh , hard_sigmoid , swish , prelu , brelu , leaky_relu ,...

激活函数 激活函数 激活函数将非线性的特性引入到神经网络当中。 PaddlePaddle Fluid 对大部分的激活函数进行了支持，其中有: relu , tanh , sigmoid , elu , relu6 , pow , stanh , hard_sigmoid , swish , prelu , brelu , leaky_relu ,...

平板与社交 再谈研究辅助工具Zotero兼配套APP 移动的Zotero 平板的Zotero 社交的Zotero 两大辅助神器：Altmetric与Utopia Altmetric Utopia mendeley与Zotero的同步 小结 平板与社交 再谈研究辅助工具Zotero兼配套APP 继续小白文风格，多图，高手慎入。很多...

四、噪声鲁棒性 4.1 输入噪声注入 4.2 权重噪声注入 4.3 输出噪声注入 四、噪声鲁棒性 有三种添加噪声的策略：输入噪声注入、权重噪声注入、输出噪声注入。 4.1 输入噪声注入 输入噪声注入：将噪声作用于输入的数据集，这也是前文介绍的一种数据集增强方法。 对于某些模型，在输入上注入方差极小的噪音等价于对权重施加参数范数正则...

减少方差的技术 减少方差的技术 如果你的学习算法存在着高方差问题，可以考虑尝试下面的技术： 添加更多的训练数据 ：这是最简单最可靠的一种处理方差的策略，只要你有大量的数据和对应的计算能力来处理他们。 加入正则化 （L2 正则化，L1 正则化，dropout）：这项技术可以降低方差，但却增大了偏差。 加入提前终止 （例如根据开发集误差提前终止梯度下...

VisualDL 使用指南 概述 动态添加数据组件 LogWriter — 记录器 scalar — 折线图组件 histogram — 直方图组件 image — 图片可视化组件 text — 文本组件 audio — 音频播放组件 high dimensional — 数据降维组件 graph — 神经网络可视化组件 Visu...

激活函数 激活函数 激活函数将非线性的特性引入到神经网络当中。 PaddlePaddle Fluid 对大部分的激活函数进行了支持，其中有: relu , tanh , sigmoid , elu , relu6 , pow , stanh , hard_sigmoid , swish , prelu , brelu , leaky_relu ,...