TensorRT库性能测试

测试环境

  • CPU:Intel(R) Xeon(R) Gold 5117 CPU @ 2.00GHz GPU:Tesla P4
  • TensorRT4.0, CUDA8.0, CUDNNV7
  • 测试模型 ResNet50，MobileNet，ResNet101, Inception V3.

测试对象

PaddlePaddle, Pytorch, Tensorflow

  • 在测试中，PaddlePaddle使用子图优化的方式集成了TensorRT, 模型地址。
  • Pytorch使用了原生的实现, 模型地址1、地址2。
  • 对TensorFlow测试包括了对TF的原生的测试，和对TF—TRT的测试，对TF—TRT的测试并没有达到预期的效果，后期会对其进行补充， 模型地址。

ResNet50

batch_sizePaddlePaddle(ms)Pytorch(ms)TensorFlow(ms)
14.6411716.310.878
56.9062222.920.62
107.975840.634.36

MobileNet

batch_sizePaddlePaddle(ms)Pytorch(ms)TensorFlow(ms)
11.75417.82.72
53.046667.83.19
104.1947814.474.25

ResNet101

batch_sizePaddlePaddle(ms)Pytorch(ms)TensorFlow(ms)
18.9576722.4818.78
512.981133.8834.84
1014.146361.9757.94

Inception v3

batch_sizePaddlePaddle(ms)Pytorch(ms)TensorFlow(ms)
115.161324.219.1
518.537334.827.2
1019.278154.836.7