L1 和 L2 正则化

就像你在第 4 章中对简单线性模型所做的那样，你可以使用 l1 和 l2 正则化约束一个神经网络的连接权重（但通常不是它的偏置）。

使用 TensorFlow 做到这一点的一种方法是简单地将适当的正则化项添加到您的损失函数中。 例如，假设您只有一个权重为weights1的隐藏层和一个权重为weight2的输出层，那么您可以像这样应用 l1 正则化：

我们可以将正则化函数传递给tf.layers.dense()函数，该函数将使用它来创建计算正则化损失的操作，并将这些操作添加到正则化损失集合中。 开始和上面一样：

  1. n_inputs = 28 * 28  #  MNIST
  2. n_hidden1 = 300
  3. n_hidden2 = 50
  4. n_outputs = 10
  6. X = tf.placeholder(tf.float32, shape=(None, n_inputs), name="X")
  7. y = tf.placeholder(tf.int64, shape=(None), name="y")

接下来，我们将使用 Python partial()函数来避免一遍又一遍地重复相同的参数。 请注意，我们设置了内核正则化参数（正则化函数有l1_regularizer()，l2_regularizer()，l1_l2_regularizer()）：

  1. scale = 0.001
  1. my_dense_layer = partial(
  2.     tf.layers.dense, activation=tf.nn.relu,
  3.     kernel_regularizer=tf.contrib.layers.l1_regularizer(scale))
  5. with tf.name_scope("dnn"):
  6.     hidden1 = my_dense_layer(X, n_hidden1, name="hidden1")
  7.     hidden2 = my_dense_layer(hidden1, n_hidden2, name="hidden2")
  8.     logits = my_dense_layer(hidden2, n_outputs, activation=None,
  9.                             name="outputs")

该代码创建了一个具有两个隐藏层和一个输出层的神经网络，并且还在图中创建节点以计算与每个层的权重相对应的 l1 正则化损失。TensorFlow 会自动将这些节点添加到包含所有正则化损失的特殊集合中。 您只需要将这些正则化损失添加到您的整体损失中，如下所示：

接下来，我们必须将正则化损失加到基本损失上：

  1. with tf.name_scope("loss"):                                     #  not shown in the book
  2.     xentropy = tf.nn.sparse_softmax_cross_entropy_with_logits(  #  not shown
  3.         labels=y, logits=logits)                                #  not shown
  4.     base_loss = tf.reduce_mean(xentropy, name="avg_xentropy")   #  not shown
  5.     reg_losses = tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES)
  6.     loss = tf.add_n([base_loss] + reg_losses, name="loss")

其余的和往常一样：

  1. with tf.name_scope("eval"):
  2.     correct = tf.nn.in_top_k(logits, y, 1)
  3.     accuracy = tf.reduce_mean(tf.cast(correct, tf.float32), name="accuracy")
  5. learning_rate = 0.01
  7. with tf.name_scope("train"):
  8.     optimizer = tf.train.GradientDescentOptimizer(learning_rate)
  9.     training_op = optimizer.minimize(loss)
  11. init = tf.global_variables_initializer()
  12. saver = tf.train.Saver()
  1. n_epochs = 20
  2. batch_size = 200
  4. with tf.Session() as sess:
  5.     init.run()
  6.     for epoch in range(n_epochs):
  7.         for iteration in range(mnist.train.num_examples // batch_size):
  8.             X_batch, y_batch = mnist.train.next_batch(batch_size)
  9.             sess.run(training_op, feed_dict={X: X_batch, y: y_batch})
  10.         accuracy_val = accuracy.eval(feed_dict={X: mnist.test.images,
  11.                                                 y: mnist.test.labels})
  12.         print(epoch, "Test accuracy:", accuracy_val)
  14.     save_path = saver.save(sess, "./my_model_final.ckpt")

不要忘记把正则化的损失加在你的整体损失上，否则就会被忽略。