自动求导机制

译者：冯宝宝

校验：AlexJakin

本说明将概述autograd(自动求导）如何工作并记录每一步操作。了解这些并不是绝对必要的，但我们建议您熟悉它，因为它将帮助你编写更高效，更清晰的程序，并可以帮助您进行调试。

反向排除子图

每个张量都有一个标志：requires_grad，允许从梯度计算中细致地排除子图，并可以提高效率。

requires_grad

只要有单个输入进行梯度计算操作，则其输出也需要梯度计算。相反，只有当所有输入都不需要计算梯度时，输出才不需要梯度计算。如果其中所有的张量都不需要进行梯度计算，后向计算不会在子图中执行。

  1. >>> x = torch.randn(5, 5)  # requires_grad=False by default
  2. >>> y = torch.randn(5, 5)  # requires_grad=False by default
  3. >>> z = torch.randn((5, 5), requires_grad=True)
  4. >>> a = x + y
  5. >>> a.requires_grad
  6. False
  7. >>> b = a + z
  8. >>> b.requires_grad
  9. True

当你想要冻结部分模型或者事先知道不会使用某些参数的梯度时，这个requires_grad标志非常有用。例如，如果要微调预训练的CNN，只需在冻结的基础中切换requires_grad标志就够了，并且直到计算到达最后一层，才会保存中间缓冲区，，其中仿射变换将使用所需要梯度的权重 ，网络的输出也需要它们。

  1. model = torchvision.models.resnet18(pretrained=True)
  2. for param in model.parameters():
  3.     param.requires_grad = False
  4. # Replace the last fully-connected layer
  5. # Parameters of newly constructed modules have requires_grad=True by default
  6. model.fc = nn.Linear(512, 100)
  8. # Optimize only the classifier
  9. optimizer = optim.SGD(model.fc.parameters(), lr=1e-2, momentum=0.9)

自动求导是如何记录编码历史的

自动求导是反向自动分化系统。从概念上讲，自动求导会记录一个图形，记录在执行操作时创建数据的所有操作，为您提供有向无环图，其叶子是输入张量，根节点是输出张量。通过从根到叶跟踪此图，您可以使用链法则自动计算梯度。

在内部，autograd将此图表示为Function对象(实际表达式）的图形，可以用来计算评估图形的结果。 当计算前向传播时，自动求导同时执行所请求的计算并建立表示计算梯度的函数的图形(每个torch.Tensor的.grad_fn属性是该图的入口点）。当前向传播完成时，我们在后向传播中评估该图以计算梯度。

需要注意的一点是，在每次迭代时都会从头开始重新创建计算图，这正是允许使用任意Python控制流语句的原因，它可以在每次迭代时更改图形的整体形状和大小。 在开始训练之前，不必编码所有可能的路径 - 您运行的是您所区分的部分。

使用autograd进行in-place操作

在autograd中支持in-place操作是一件很难的事情，大多数情况下，我们不鼓励使用它们。Autograd积极的缓冲区释放和重用使其非常高效，实际上在in-place操作会大幅降低内存使用量的情况也非常少。除非在巨大的内存压力下运行，否则你可能永远不需要使用它们。

限制in-place操作适用性的主要原因有两个：

  1. 这个操作可能会覆盖梯度计算所需的值。
  2. 实际上，每个in-place操作需要重写计算图。out-of-place版本只是分配新对象并保留对旧图的引用，而in-place操作则需要将所有输入的creator更改为表示此操作的Function。这就比较麻烦，特别是如果有许多变量引用同一存储(例如通过索引或转置创建的），并且如果被修改输入的存储被任何其他张量引用，这样的话，in-place函数会抛出错误。

In-place正确性检查

每一个张量都有一个版本计算器，每次在任何操作中标记都会递增。 当Function保存任何用于后向传播的张量时，也会保存包含张量的版本计数器。一旦访问self.saved_tensors后，它将被检查，如果它大于保存的值，则会引发错误。这可以确保如果您使用in-place函数而没有看到任何错误，则可以确保计算出的梯度是正确的。