如何使用Ollama离线部署LLM大语言模型

说明： 如果你没有离线部署 LLM 模型的需求，请直接查看如何添加模型。
本文以在 Ollama 中 离线部署 qwen:0.5b 模型为例。

访问 huggingface 下载 qwen1_5-0_5b-chat-q5_k_m.gguf 模型。

  1. https://huggingface.co/Qwen/Qwen1.5-0.5B-Chat-GGUF/tree/main

下载模型

2. 上传 Qwen1.5-0.5B-Chat-GGUF 模型离线文件到 Ollama 所在服务器

3. 创建Ollama Modelfile

创建一个名为 Modelfile 的文件，内容如下：

  1. FROM ./qwen1_5-0_5b-chat-q5_k_m.gguf
  3. TEMPLATE """{{ if .System }}<|im_start|>system
  4. {{ .System }}<|im_end|>{{ end }}<|im_start|>user
  5. {{ .Prompt }}<|im_end|>
  6. <|im_start|>assistant
  7. """
  9. PARAMETER stop "<|im_start|>"
  10. PARAMETER stop "<|im_end|>"

说明：不同模型的 Modelfile 内容不同，可参考 Ollama 官网 参数设置 。

模型参数模版

4. 在Ollama中创建模型

执行以下命令，创建模型：

  1. ollama create qwen:0.5b -f Modelfile

执行以下命令，确认模型存在：

  1. ollama list

ollama查看模型列表

5. 在 MaxKB中 添加 Ollama 模型 对接上面创建的 qwen:0.5b 模型

MaxKB中添加模型