九、启动并运行 TensorFlow 九、启动并运行 TensorFlow TensorFlow 是一款用于数值计算的强大的开源软件库，特别适用于大规模机器学习的微调。 它的基本原理很简单：首先在 Python 中定义要执行的计算图（例如图 9-1），然后 TensorFlow 使用该图并使用优化的 C++ 代码高效运行该图。 最重要的是，Te...

反向传播算法是如何工作的 反向传播算法是如何工作的 在上一章中我们学习了神经网络是如何利用梯度下降算法来学习权重（weights）和偏置（biases）的。然而，在我们的解释中跳过了一个细节：我们没有讨论如何计算代价函数的梯度。这真是一个巨大的跳跃！在本章中我会介绍一个快速计算梯度的算法，就是广为人知的反向传播算法（backpropagation）。...

长时训练的困难 在训练长序列的 RNN 模型时，那么就需要把 RNN 在时间维度上展开成很深的神经网络。正如任何深度神经网络一样，其面临着梯度消失/爆炸的问题，使训练无法终止或收敛。 很多之前讨论过的缓解这种问题的技巧都可以应用在深度展开的 RNN 网络：好的参数初始化方式，非饱和的激活函数（如 ReLU），批量规范化（Batch Normalizat...

TransformerDecoderLayer TransformerDecoderLayer class paddle.nn. TransformerDecoderLayer ( d_model, nhead, dim_feedforward, dropout=0.1, activation=’relu’, attn_dropout=None, a...

TransformerDecoderLayer TransformerDecoderLayer class paddle.nn.TransformerDecoderLayer ( d_model, nhead, dim_feedforward, dropout=0.1, activation=’relu’, attn_dropout=None, a...

综述 面向机器学习初学者的 MNIST 初级教程 面向机器学习专家的 MNIST 高级教程 TensorFlow 使用指南 卷积神经网络 单词的向量表示 循环神经网络 (Recurrent Neural Network, 简称 RNN) 序列到序列模型 (Sequence-to-Sequence Model) Mandelbrot 集合 偏微...

使用ResNet-50网络实现图像分类 概述 图像分类 任务描述及准备 下载CIFAR-10数据集 数据预加载和预处理 定义卷积神经网络 定义损失函数和优化器 调用Model 高阶API进行训练和保存模型文件 加载保存的模型，并进行验证 参考文献 使用ResNet-50网络实现图像分类 Linux Ascend GPU 全流程...

AlexNet AlexNet 通过上面的实际训练可以看到，虽然LeNet在手写数字识别数据集上取得了很好的结果，但在更大的数据集上表现却并不好。自从1998年LeNet问世以来，接下来十几年的时间里，神经网络并没有在计算机视觉领域取得很好的结果，反而一度被其它算法所超越，原因主要有两方面，一是神经网络的计算比较复杂，对当时计算机的算力来说，训练神经...

PyTorch 深度学习: 60 分钟极速入门 PyTorch 深度学习: 60 分钟极速入门 译者：bat67 校对者：FontTian 作者 ：Soumith Chintala 此教程的目标： 更高层次地理解PyTorch的Tensor库以及神经网络。 训练一个小的神经网络模型用于分类图像。 本教程假设读者对numpy 有...