接入 bge-rerank 重排模型

接入 bge-rerank 重排模型

不同模型推荐配置

推荐配置如下:

模型名内存显存硬盘空间启动命令
bge-rerank-base>=4GB>=4GB>=8GBpython app.py
bge-rerank-large>=8GB>=8GB>=8GBpython app.py
bge-rerank-v2-m3>=8GB>=8GB>=8GBpython app.py

源码部署

1. 安装环境

  • Python 3.9, 3.10
  • CUDA 11.7
  • 科学上网环境

2. 下载代码

3 个模型代码分别为:

  1. https://github.com/labring/FastGPT/tree/main/python/bge-rerank/bge-reranker-base接入 bge-rerank 重排模型 - 图1
  2. https://github.com/labring/FastGPT/tree/main/python/bge-rerank/bge-reranker-large接入 bge-rerank 重排模型 - 图2
  3. https://github.com/labring/FastGPT/tree/main/python/bge-rerank/bge-rerank-v2-m3接入 bge-rerank 重排模型 - 图3

3. 安装依赖

  1. pip install -r requirements.txt

4. 下载模型

3个模型的 huggingface 仓库地址如下:

  1. https://huggingface.co/BAAI/bge-reranker-base接入 bge-rerank 重排模型 - 图4
  2. https://huggingface.co/BAAI/bge-reranker-large接入 bge-rerank 重排模型 - 图5
  3. https://huggingface.co/BAAI/bge-rerank-v2-m3接入 bge-rerank 重排模型 - 图6

在对应代码目录下 clone 模型。目录结构:

  1. bge-reranker-base/
  2. app.py
  3. Dockerfile
  4. requirements.txt

5. 运行代码

  1. python app.py

启动成功后应该会显示如下地址:

接入 bge-rerank 重排模型 - 图7

这里的 http://0.0.0.0:6006 就是连接地址。

docker 部署

镜像名分别为:

  1. registry.cn-hangzhou.aliyuncs.com/fastgpt/bge-rerank-base:v0.1 (4 GB+)
  2. registry.cn-hangzhou.aliyuncs.com/fastgpt/bge-rerank-large:v0.1 (5 GB+)
  3. registry.cn-hangzhou.aliyuncs.com/fastgpt/bge-rerank-v2-m3:v0.1 (5 GB+)

端口

6006

环境变量

  1. ACCESS_TOKEN=访问安全凭证,请求时,Authorization: Bearer ${ACCESS_TOKEN}

运行命令示例

  1. # auth token 为mytoken
  2. docker run -d --name reranker -p 6006:6006 -e ACCESS_TOKEN=mytoken --gpus all registry.cn-hangzhou.aliyuncs.com/fastgpt/bge-rerank-base:v0.1

docker-compose.yml示例

  1. version: "3"
  2. services:
  3. reranker:
  4. image: registry.cn-hangzhou.aliyuncs.com/fastgpt/bge-rerank-base:v0.1
  5. container_name: reranker
  6. # GPU运行环境,如果宿主机未安装,将deploy配置隐藏即可
  7. deploy:
  8. resources:
  9. reservations:
  10. devices:
  11. - driver: nvidia
  12. count: all
  13. capabilities: [gpu]
  14. ports:
  15. - 6006:6006
  16. environment:
  17. - ACCESS_TOKEN=mytoken

接入 FastGPT

参考 ReRank模型接入,host 变量为部署的域名。