ExponentialDecay
注意:该API仅支持【动态图】模式
- class
paddle.fluid.dygraph.
ExponentialDecay
(learning_rate, decay_steps, decay_rate, staircase=False, begin=0, step=1, dtype=’float32‘)[源代码]
该接口提供一种学习率按指数函数衰减的功能。
指数衰减的计算方式如下。
当staircase为False时,y对应的计算公式为:
当staircase为True时,y对应的计算公式为:
式中,
- : 衰减后的学习率。
式子中各参数详细介绍请看参数说明。
- 参数:
- learning_rate (Variable|float) - 初始学习率。如果类型为Variable,则为shape为[1]的Tensor,数据类型为float32或float64;也可以是python的float类型。
- decay_steps (int) - 衰减步数。必须是正整数,该参数确定衰减周期。
- decay_rate (float)- 衰减率。
- staircase (bool) - 若为True,则以不连续的间隔衰减学习速率即阶梯型衰减。若为False,则以标准指数型衰减。默认值为False。
- begin (int) - 起始步,即以上运算式子中global_step的初始化值。默认值为0。
- step (int) - 步大小,即以上运算式子中global_step的每次的增量值,使得global_step随着训练的次数递增。默认值为1。
- dtype (str) - 初始化学习率变量的数据类型,可以为"float32", "float64"。 默认值为"float32"。
返回: 无
代码示例
- import paddle.fluid as fluid
- base_lr = 0.1
- with fluid.dygraph.guard():
- sgd_optimizer = fluid.optimizer.SGD(
- learning_rate=fluid.dygraph.ExponentialDecay(
- learning_rate=base_lr,
- decay_steps=10000,
- decay_rate=0.5,
- staircase=True))