前向自动微分

前向自动微分既不是数值微分，也不是符号微分，但在某些方面，它是他们的爱情结晶。它依赖对偶数。对偶数是奇怪但迷人的，是 a + b\epsilon 形式的数，这里a和b是实数，\epsilon 是无穷小的数，满足 \epsilon ^ 2 = 0，但 \epsilon \ne 0。你可以认为对偶数 42 + 24\epsilon 类似于有着无穷个 0 的 42.0000⋯000024（但当然这是简化后的，仅仅给你对偶数什么的想法）。一个对偶数在内存中表示为一个浮点数对，例如，42 + 24\epsilon 表示为(42.0, 24.0)。

对偶数可相加、相乘、等等操作，正如公式 D-3 所示。

E_D-3

最重要的，可证明h(a + bϵ) = h(a) + b × h'(a)ϵ，所以计算一次h(a + ϵ)就得到了两个值h(a)和h'(a)。图 D-2 展示了前向自动微分如何计算 f(x,y)=x^2y + y + 2 关于x，在 x=3, y=4 处的导数。我们所要做的一切只是计算 f(3+\epsilon, 4)；它将输出一个对偶数，其第一部分等于 f(3, 4)，第二部分等于 f^{'}(3, 4) = \frac{\partial f}{\partial x} (3,4)。

D-2

为了计算 \frac{\partial f}{\partial y} (3,4) 我们不得不再遍历一遍计算图，但这次前馈的值为 x=3, y = 4 + \epsilon。

所以前向自动微分比数值微分准确得多，但它遭受同样的缺陷：如果有 1000 个参数，那为了计算所有的偏导数，得历经计算图 1000 次。这正是反向自动微分耀眼的地方：计算所有的偏导数，它只需要遍历计算图 2 次。