6-6,使用tensorflow-serving部署模型

TensorFlow训练好的模型以tensorflow原生方式保存成protobuf文件后可以用许多方式部署运行。

例如：通过 tensorflow-js 可以用javascrip脚本加载模型并在浏览器中运行模型。

通过 tensorflow-lite 可以在移动和嵌入式设备上加载并运行TensorFlow模型。

通过 tensorflow-serving 可以加载模型后提供网络接口API服务，通过任意编程语言发送网络请求都可以获取模型预测结果。

通过 tensorFlow for Java接口，可以在Java或者spark(scala)中调用tensorflow模型进行预测。

我们主要介绍tensorflow serving部署模型、使用spark(scala)调用tensorflow模型的方法。

〇，tensorflow serving模型部署概述

使用 tensorflow serving 部署模型要完成以下步骤。

  • (1) 准备protobuf模型文件。

  • (2) 安装tensorflow serving。

  • (3) 启动tensorflow serving 服务。

  • (4) 向API服务发送请求，获取预测结果。

可通过以下colab链接测试效果《tf_serving》： https://colab.research.google.com/drive/1vS5LAYJTEn-H0GDb1irzIuyRB8E3eWc8

  1. %tensorflow_version 2.x
  2. import tensorflow as tf
  3. print(tf.__version__)
  4. from tensorflow.keras import *

一，准备protobuf模型文件

我们使用tf.keras 训练一个简单的线性回归模型，并保存成protobuf文件。

  1. import tensorflow as tf
  2. from tensorflow.keras import models,layers,optimizers
  4. ## 样本数量
  5. n = 800
  7. ## 生成测试用数据集
  8. X = tf.random.uniform([n,2],minval=-10,maxval=10) 
  9. w0 = tf.constant([[2.0],[-1.0]])
  10. b0 = tf.constant(3.0)
  12. Y = X@w0 + b0 + tf.random.normal([n,1],
  13.     mean = 0.0,stddev= 2.0) # @表示矩阵乘法,增加正态扰动
  15. ## 建立模型
  16. tf.keras.backend.clear_session()
  17. inputs = layers.Input(shape = (2,),name ="inputs") #设置输入名字为inputs
  18. outputs = layers.Dense(1, name = "outputs")(inputs) #设置输出名字为outputs
  19. linear = models.Model(inputs = inputs,outputs = outputs)
  20. linear.summary()
  22. ## 使用fit方法进行训练
  23. linear.compile(optimizer="rmsprop",loss="mse",metrics=["mae"])
  24. linear.fit(X,Y,batch_size = 8,epochs = 100)  
  26. tf.print("w = ",linear.layers[1].kernel)
  27. tf.print("b = ",linear.layers[1].bias)
  29. ## 将模型保存成pb格式文件
  30. export_path = "./data/linear_model/"
  31. version = "1"       #后续可以通过版本号进行模型版本迭代与管理
  32. linear.save(export_path+version, save_format="tf")
  1. #查看保存的模型文件
  2. !ls {export_path+version}
  1. assets    saved_model.pb    variables
  1. # 查看模型文件相关信息
  2. !saved_model_cli show --dir {export_path+str(version)} --all
  1. MetaGraphDef with tag-set: 'serve' contains the following SignatureDefs:
  3. signature_def['__saved_model_init_op']:
  4.   The given SavedModel SignatureDef contains the following input(s):
  5.   The given SavedModel SignatureDef contains the following output(s):
  6.     outputs['__saved_model_init_op'] tensor_info:
  7.         dtype: DT_INVALID
  8.         shape: unknown_rank
  9.         name: NoOp
  10.   Method name is: 
  12. signature_def['serving_default']:
  13.   The given SavedModel SignatureDef contains the following input(s):
  14.     inputs['inputs'] tensor_info:
  15.         dtype: DT_FLOAT
  16.         shape: (-1, 2)
  17.         name: serving_default_inputs:0
  18.   The given SavedModel SignatureDef contains the following output(s):
  19.     outputs['outputs'] tensor_info:
  20.         dtype: DT_FLOAT
  21.         shape: (-1, 1)
  22.         name: StatefulPartitionedCall:0
  23.   Method name is: tensorflow/serving/predict
  24. WARNING:tensorflow:From /tensorflow-2.1.0/python3.6/tensorflow_core/python/ops/resource_variable_ops.py:1786: calling BaseResourceVariable.__init__ (from tensorflow.python.ops.resource_variable_ops) with constraint is deprecated and will be removed in a future version.
  25. Instructions for updating:
  26. If using Keras pass *_constraint arguments to layers.
  28. Defined Functions:
  29.   Function Name: '__call__'
  30.     Option #1
  31.       Callable with:
  32.         Argument #1
  33.           inputs: TensorSpec(shape=(None, 2), dtype=tf.float32, name='inputs')
  34.         Argument #2
  35.           DType: bool
  36.           Value: False
  37.         Argument #3
  38.           DType: NoneType
  39.           Value: None
  40.     Option #2
  41.       Callable with:
  42.         Argument #1
  43.           inputs: TensorSpec(shape=(None, 2), dtype=tf.float32, name='inputs')
  44.         Argument #2
  45.           DType: bool
  46.           Value: True
  47.         Argument #3
  48.           DType: NoneType
  49.           Value: None
  51.   Function Name: '_default_save_signature'
  52.     Option #1
  53.       Callable with:
  54.         Argument #1
  55.           inputs: TensorSpec(shape=(None, 2), dtype=tf.float32, name='inputs')
  57.   Function Name: 'call_and_return_all_conditional_losses'
  58.     Option #1
  59.       Callable with:
  60.         Argument #1
  61.           inputs: TensorSpec(shape=(None, 2), dtype=tf.float32, name='inputs')
  62.         Argument #2
  63.           DType: bool
  64.           Value: True
  65.         Argument #3
  66.           DType: NoneType
  67.           Value: None
  68.     Option #2
  69.       Callable with:
  70.         Argument #1
  71.           inputs: TensorSpec(shape=(None, 2), dtype=tf.float32, name='inputs')
  72.         Argument #2
  73.           DType: bool
  74.           Value: False
  75.         Argument #3
  76.           DType: NoneType
  77.           Value: None

二，安装 tensorflow serving

安装 tensorflow serving 有2种主要方法：通过Docker镜像安装，通过apt安装。

通过Docker镜像安装是最简单，最直接的方法，推荐采用。

Docker可以理解成一种容器，其上面可以给各种不同的程序提供独立的运行环境。

一般业务中用到tensorflow的企业都会有运维同学通过Docker 搭建 tensorflow serving.

无需算法工程师同学动手安装，以下安装过程仅供参考。

不同操作系统机器上安装Docker的方法可以参照以下链接。

Windows: https://www.runoob.com/docker/windows-docker-install.html

MacOs: https://www.runoob.com/docker/macos-docker-install.html

CentOS: https://www.runoob.com/docker/centos-docker-install.html

安装Docker成功后，使用如下命令加载 tensorflow/serving 镜像到Docker中

docker pull tensorflow/serving

三，启动 tensorflow serving 服务

  1. !docker run -t --rm -p 8501:8501 \
  2.     -v "/Users/.../data/linear_model/" \
  3.     -e MODEL_NAME=linear_model \
  4.     tensorflow/serving & >server.log 2>&1

四，向API服务发送请求

可以使用任何编程语言的http功能发送请求，下面示范linux的 curl 命令发送请求，以及Python的requests库发送请求。

  1. !curl -d '{"instances": [1.0, 2.0, 5.0]}' \
  2.     -X POST http://localhost:8501/v1/models/linear_model:predict
  1. {
  2.     "predictions": [[3.06546211], [5.01313448]
  3.     ]
  4. }
  1. import json,requests
  3. data = json.dumps({"signature_name": "serving_default", "instances": [[1.0, 2.0], [5.0,7.0]]})
  4. headers = {"content-type": "application/json"}
  5. json_response = requests.post('http://localhost:8501/v1/models/linear_model:predict', 
  6.         data=data, headers=headers)
  7. predictions = json.loads(json_response.text)["predictions"]
  8. print(predictions)
  1. [[3.06546211], [6.02843142]]

如果对本书内容理解上有需要进一步和作者交流的地方，欢迎在公众号”Python与算法之美”下留言。作者时间和精力有限，会酌情予以回复。

也可以在公众号后台回复关键字：加群，加入读者交流群和大家讨论。

image.png