初始化方法

初始化方法定义了对Keras层设置初始化权重的方法

不同的层可能使用不同的关键字来传递初始化方法,一般来说指定初始化方法的关键字是kernel_initializerbias_initializer,例如:

  1. model.add(Dense(64,
  2. kernel_initializer='random_uniform',
  3. bias_initializer='zeros'))

一个初始化器可以由字符串指定(必须是下面的预定义初始化器之一),或一个callable的函数,例如

  1. from keras import initializers
  2. model.add(Dense(64, kernel_initializer=initializers.random_normal(stddev=0.01)))
  3. # also works; will use the default parameters.
  4. model.add(Dense(64, kernel_initializer='random_normal'))

Initializer

Initializer是所有初始化方法的父类,不能直接使用,如果想要定义自己的初始化方法,请继承此类。

预定义初始化方法

Zeros

  1. keras.initializers.Zeros()

全零初始化

Ones

  1. keras.initializers.Ones()

全1初始化

Constant

  1. keras.initializers.Constant(value=0)

初始化为固定值value

RandomNormal

  1. keras.initializers.RandomNormal(mean=0.0, stddev=0.05, seed=None))

正态分布初始化

  • mean:均值
  • stddev:标准差
  • seed:随机数种子

RandomUniform

  1. keras.initializers.RandomUniform(minval=-0.05, maxval=0.05, seed=None)

均匀分布初始化 minval:均匀分布下边界 maxval:均匀分布上边界* seed:随机数种子

TruncatedNormal

  1. keras.initializers.TruncatedNormal(mean=0.0, stddev=0.05, seed=None)

截尾高斯分布初始化,该初始化方法与RandomNormal类似,但位于均值两个标准差以外的数据将会被丢弃并重新生成,形成截尾分布。该分布是神经网络权重和滤波器的推荐初始化方法。

  • mean:均值
  • stddev:标准差
  • seed:随机数种子

VarianceScaling

  1. keras.initializers.VarianceScaling(scale=1.0, mode='fan_in', distribution='normal', seed=None)

该初始化方法能够自适应目标张量的shape。

distribution="normal"时,样本从0均值,标准差为sqrt(scale / n)的截尾正态分布中产生。其中:

  1. * ```mode = "fan_in"```时,权重张量的输入单元数。
  2. * ```mode = "fan_out"```时,权重张量的输出单元数
  3. * ```mode = "fan_avg"```时,权重张量的输入输出单元数的均值

distribution="uniform"时,权重从[-limit, limit]范围内均匀采样,其中limit = limit = sqrt(3 * scale / n)

  • scale: 放缩因子,正浮点数
  • mode: 字符串,“fan_in”,“fan_out”或“fan_avg”fan_in", "fan_out", "fan_avg".
  • distribution: 字符串,“normal”或“uniform”.
  • seed: 随机数种子

Orthogonal

  1. keras.initializers.Orthogonal(gain=1.0, seed=None)

用随机正交矩阵初始化

  • gain: 正交矩阵的乘性系数
  • seed:随机数种子

参考文献:Saxe et al.

Identiy

  1. keras.initializers.Identity(gain=1.0)

使用单位矩阵初始化,仅适用于2D方阵

  • gain:单位矩阵的乘性系数

lecun_uniform

  1. lecun_uniform(seed=None)

LeCun均匀分布初始化方法,参数由[-limit, limit]的区间中均匀采样获得,其中limit=sqrt(3 / fan_in), fin_in是权重向量的输入单元数(扇入)

  • seed:随机数种子

参考文献:LeCun 98, Efficient Backprop

lecun_normal

  1. lecun_normal(seed=None)

LeCun正态分布初始化方法,参数由0均值,标准差为stddev = sqrt(1 / fan_in)的正态分布产生,其中fan_in和fan_out是权重张量的扇入扇出(即输入和输出单元数目)

  • seed:随机数种子

参考文献:

Self-Normalizing Neural NetworksEfficient Backprop

glorot_normal

  1. glorot_normal(seed=None)

Glorot正态分布初始化方法,也称作Xavier正态分布初始化,参数由0均值,标准差为sqrt(2 / (fan_in + fan_out))的正态分布产生,其中fan_in和fan_out是权重张量的扇入扇出(即输入和输出单元数目)

  • seed:随机数种子

参考文献:Glorot & Bengio, AISTATS 2010

glorot_uniform

  1. glorot_uniform(seed=None)

Glorot均匀分布初始化方法,又成Xavier均匀初始化,参数从[-limit, limit]的均匀分布产生,其中limit为sqrt(6 / (fan_in + fan_out))。fan_in为权值张量的输入单元数,fan_out是权重张量的输出单元数。

  • seed:随机数种子

参考文献:Glorot & Bengio, AISTATS 2010

he_normal

  1. he_normal(seed=None)

He正态分布初始化方法,参数由0均值,标准差为sqrt(2 / fan_in) 的正态分布产生,其中fan_in权重张量的扇入

  • seed:随机数种子

参考文献:He et al

he_uniform

  1. he_normal(seed=None)

LeCun均匀分布初始化方法,参数由[-limit, limit]的区间中均匀采样获得,其中limit=sqrt(6 / fan_in), fin_in是权重向量的输入单元数(扇入)

  • seed:随机数种子

参考文献:He et al

自定义初始化器

如果需要传递自定义的初始化器,则该初始化器必须是callable的,并且接收shape(将被初始化的张量shape)和dtype(数据类型)两个参数,并返回符合shapedtype的张量。

  1. from keras import backend as K
  2. def my_init(shape, dtype=None):
  3. return K.random_normal(shape, dtype=dtype)
  4. model.add(Dense(64, init=my_init))