Benchmark

本文给出了中英文OCR系列模型精度指标和在各平台预测耗时的benchmark。

测试数据

针对OCR实际应用场景，包括合同，车牌，铭牌，火车票，化验单，表格，证书，街景文字，名片，数码显示屏等，收集的300张图像，每张图平均有17个文本框，下图给出了一些图像示例。

Benchmark - 图1

评估指标

说明：

  • v1.0是未添加优化策略的DB+CRNN模型，v1.1是添加多种优化策略和方向分类器的PP-OCR模型。slim_v1.1是使用裁剪或量化的模型。
  • 检测输入图像的的长边尺寸是960。
  • 评估耗时阶段为图像输入到结果输出的完整阶段，包括了图像的预处理和后处理。
  • Intel至强6148为服务器端CPU型号，测试中使用Intel MKL-DNN 加速。
  • 骁龙855为移动端处理平台型号。

不同预测模型大小和整体识别精度对比

模型名称整体模型
大小(M)		检测模型
大小(M)		方向分类器
模型大小(M)		识别模型
大小(M)		整体识别
F-score
ch_ppocr_mobile_v1.18.12.60.94.60.5193
ch_ppocr_server_v1.1155.147.20.91070.5414
ch_ppocr_mobile_v1.08.64.1-4.50.393
ch_ppocr_server_v1.0203.898.5-105.30.4436

不同预测模型在T4 GPU上预测速度对比，单位ms

模型名称整体检测方向分类器识别
ch_ppocr_mobile_v1.1137352478
ch_ppocr_server_v1.12043925140
ch_ppocr_mobile_v1.011741-76
ch_ppocr_server_v1.019952-147

不同预测模型在CPU上预测速度对比，单位ms

模型名称整体检测方向分类器识别
ch_ppocr_mobile_v1.142116451206
ch_ppocr_mobile_v1.0398219-179

裁剪量化模型和原始模型模型大小，整体识别精度和在SD 855上预测速度对比

模型名称整体模型
大小(M)		检测模型
大小(M)		方向分类器
模型大小(M)		识别模型
大小(M)		整体识别
F-score		SD 855
(ms)
ch_ppocr_mobile_v1.18.12.60.94.60.5193306
ch_ppocr_mobile_slim_v1.13.51.40.51.60.521268