7.7. AdaDelta算法

除了RMSProp算法以外，另一个常用优化算法AdaDelta算法也针对AdaGrad算法在迭代后期可能较难找到有用解的问题做了改进[1]。有意思的是，AdaDelta算法没有学习率这一超参数。

7.7.1. 算法

AdaDelta算法也像RMSProp算法一样，使用了小批量随机梯度

按元素平方的指数加权移动平均变量 。在时间步0，它的所有元素被初始化为0。给定超参数 （对应RMSProp算法中的 ），在时间步 ，同RMSProp算法一样计算

与RMSProp算法不同的是，AdaDelta算法还维护一个额外的状态变量

，其元素同样在时间步0时被初始化为0。我们使用 来计算自变量的变化量：

其中

是为了维持数值稳定性而添加的常数，如 。接着更新自变量：

最后，我们使用

来记录自变量变化量 按元素平方的指数加权移动平均：

可以看到，如不考虑

的影响，AdaDelta算法与RMSProp算法的不同之处在于使用 来替代超参数 。

7.7.2. 从零开始实现

AdaDelta算法需要对每个自变量维护两个状态变量，即

和 。我们按AdaDelta算法中的公式实现该算法。

In [1]:

%matplotlib inline
import d2lzh as d2l
from mxnet import nd
 
features, labels = d2l.get_data_ch7()
 
def init_adadelta_states():
    s_w, s_b = nd.zeros((features.shape[1], 1)), nd.zeros(1)
    delta_w, delta_b = nd.zeros((features.shape[1], 1)), nd.zeros(1)
    return ((s_w, delta_w), (s_b, delta_b))
 
def adadelta(params, states, hyperparams):
    rho, eps = hyperparams['rho'], 1e-5
    for p, (s, delta) in zip(params, states):
        s[:] = rho * s + (1 - rho) * p.grad.square()
        g = ((delta + eps).sqrt() / (s + eps).sqrt()) * p.grad
        p[:] -= g
        delta[:] = rho * delta + (1 - rho) * g * g

使用超参数

来训练模型。

In [2]:

d2l.train_ch7(adadelta, init_adadelta_states(), {'rho': 0.9}, features,
              labels)

loss: 0.242859, 0.365652 sec per epoch

7.7.3. 简洁实现

通过名称为“adadelta”的Trainer实例，我们便可使用Gluon提供的AdaDelta算法。它的超参数可以通过rho来指定。

In [3]:

d2l.train_gluon_ch7('adadelta', {'rho': 0.9}, features, labels)

loss: 0.243492, 0.405834 sec per epoch

7.7.4. 小结

• AdaDelta算法没有学习率超参数，它通过使用有关自变量更新量平方的指数加权移动平均的项来替代RMSProp算法中的学习率。

7.7.5. 练习

• 调节AdaDelta算法中超参数 的值，观察实验结果。

7.7.6. 参考文献

[1] Zeiler, M. D. (2012). ADADELTA: an adaptive learning rate method.arXiv preprint arXiv:1212.5701.