2-3,自动微分机制

神经网络通常依赖反向传播求梯度来更新网络参数，求梯度过程通常是一件非常复杂而容易出错的事情。

而深度学习框架可以帮助我们自动地完成这种求梯度运算。

Tensorflow一般使用梯度磁带tf.GradientTape来记录正向运算过程，然后反播磁带自动得到梯度值。

这种利用tf.GradientTape求微分的方法叫做Tensorflow的自动微分机制。

一，利用梯度磁带求导数

  1. import tensorflow as tf
  2. import numpy as np 
  4. # f(x) = a*x**2 + b*x + c的导数
  6. x = tf.Variable(0.0,name = "x",dtype = tf.float32)
  7. a = tf.constant(1.0)
  8. b = tf.constant(-2.0)
  9. c = tf.constant(1.0)
  11. with tf.GradientTape() as tape:
  12.     y = a*tf.pow(x,2) + b*x + c
  14. dy_dx = tape.gradient(y,x)
  15. print(dy_dx)
  1. tf.Tensor(-2.0, shape=(), dtype=float32)
  1. # 对常量张量也可以求导，需要增加watch
  3. with tf.GradientTape() as tape:
  4.     tape.watch([a,b,c])
  5.     y = a*tf.pow(x,2) + b*x + c
  7. dy_dx,dy_da,dy_db,dy_dc = tape.gradient(y,[x,a,b,c])
  8. print(dy_da)
  9. print(dy_dc)
  1. tf.Tensor(0.0, shape=(), dtype=float32)
  2. tf.Tensor(1.0, shape=(), dtype=float32)
  1. # 可以求二阶导数
  2. with tf.GradientTape() as tape2:
  3.     with tf.GradientTape() as tape1:   
  4.         y = a*tf.pow(x,2) + b*x + c
  5.     dy_dx = tape1.gradient(y,x)   
  6. dy2_dx2 = tape2.gradient(dy_dx,x)
  8. print(dy2_dx2)
  1. tf.Tensor(2.0, shape=(), dtype=float32)
  1. # 可以在autograph中使用
  3. @tf.function
  4. def f(x):   
  5.     a = tf.constant(1.0)
  6.     b = tf.constant(-2.0)
  7.     c = tf.constant(1.0)
  9.     # 自变量转换成tf.float32
  10.     x = tf.cast(x,tf.float32)
  11.     with tf.GradientTape() as tape:
  12.         tape.watch(x)
  13.         y = a*tf.pow(x,2)+b*x+c
  14.     dy_dx = tape.gradient(y,x) 
  16.     return((dy_dx,y))
  18. tf.print(f(tf.constant(0.0)))
  19. tf.print(f(tf.constant(1.0)))
  1. (-2, 1)
  2. (0, 0)

二，利用梯度磁带和优化器求最小值

  1. # 求f(x) = a*x**2 + b*x + c的最小值
  2. # 使用optimizer.apply_gradients
  4. x = tf.Variable(0.0,name = "x",dtype = tf.float32)
  5. a = tf.constant(1.0)
  6. b = tf.constant(-2.0)
  7. c = tf.constant(1.0)
  9. optimizer = tf.keras.optimizers.SGD(learning_rate=0.01)
  10. for _ in range(1000):
  11.     with tf.GradientTape() as tape:
  12.         y = a*tf.pow(x,2) + b*x + c
  13.     dy_dx = tape.gradient(y,x)
  14.     optimizer.apply_gradients(grads_and_vars=[(dy_dx,x)])
  16. tf.print("y =",y,"; x =",x)
  1. y = 0 ; x = 0.999998569
  1. # 求f(x) = a*x**2 + b*x + c的最小值
  2. # 使用optimizer.minimize
  3. # optimizer.minimize相当于先用tape求gradient,再apply_gradient
  5. x = tf.Variable(0.0,name = "x",dtype = tf.float32)
  7. #注意f()无参数
  8. def f():   
  9.     a = tf.constant(1.0)
  10.     b = tf.constant(-2.0)
  11.     c = tf.constant(1.0)
  12.     y = a*tf.pow(x,2)+b*x+c
  13.     return(y)
  15. optimizer = tf.keras.optimizers.SGD(learning_rate=0.01)   
  16. for _ in range(1000):
  17.     optimizer.minimize(f,[x])   
  19. tf.print("y =",f(),"; x =",x)
  1. y = 0 ; x = 0.999998569
  1. # 在autograph中完成最小值求解
  2. # 使用optimizer.apply_gradients
  4. x = tf.Variable(0.0,name = "x",dtype = tf.float32)
  5. optimizer = tf.keras.optimizers.SGD(learning_rate=0.01)
  7. @tf.function
  8. def minimizef():
  9.     a = tf.constant(1.0)
  10.     b = tf.constant(-2.0)
  11.     c = tf.constant(1.0)
  13.     for _ in tf.range(1000): #注意autograph时使用tf.range(1000)而不是range(1000)
  14.         with tf.GradientTape() as tape:
  15.             y = a*tf.pow(x,2) + b*x + c
  16.         dy_dx = tape.gradient(y,x)
  17.         optimizer.apply_gradients(grads_and_vars=[(dy_dx,x)])
  19.     y = a*tf.pow(x,2) + b*x + c
  20.     return y
  22. tf.print(minimizef())
  23. tf.print(x)
  1. 0
  2. 0.999998569
  1. # 在autograph中完成最小值求解
  2. # 使用optimizer.minimize
  4. x = tf.Variable(0.0,name = "x",dtype = tf.float32)
  5. optimizer = tf.keras.optimizers.SGD(learning_rate=0.01)   
  7. @tf.function
  8. def f():   
  9.     a = tf.constant(1.0)
  10.     b = tf.constant(-2.0)
  11.     c = tf.constant(1.0)
  12.     y = a*tf.pow(x,2)+b*x+c
  13.     return(y)
  15. @tf.function
  16. def train(epoch):  
  17.     for _ in tf.range(epoch):  
  18.         optimizer.minimize(f,[x])
  19.     return(f())
  22. tf.print(train(1000))
  23. tf.print(x)
  1. 0
  2. 0.999998569

如果对本书内容理解上有需要进一步和作者交流的地方，欢迎在公众号”Python与算法之美”下留言。作者时间和精力有限，会酌情予以回复。

也可以在公众号后台回复关键字：加群，加入读者交流群和大家讨论。

image.png