背景介绍

在前一篇文章 RAG 项目对比 之后，确定 Dify 目前最合适的 RAG 框架。本次就尝试在本地 GPU 设备上部署 Dify 服务。

Dify 是将模型的加载独立出去的，因此需要选择合适的模型加载框架。调研一番之后选择了 Xinference，理由如下：

支持多种类型的模型，包括 LLM，Embedding, Rerank, Audio 等多种业务场景的模型需求，一个框架全搞定；方便的模型管理能力，提供可视化页面快速部署模型支持直接从 ModelScope 下载模型，避免 huggingface 被墙的问题；

本文是 Dify 与 Xinference 最佳组合的 GPU 设备部署流程。为了充分利用 nvidia GPU 的能力，需要先安装显卡驱动，CUDA 和 CuDNN，这部分网上的教程比较多了，大家可以自行搜索参考安装，安装时需要注意版本需要与自己的 GPU 显卡版本匹配。

Dify 部署

参考 Dify 官方文档 进行安装。

首先需要下载 Dify 对应的代码:

<code>git clone https://github.com/langgenius/dify.git

之后创建环境变量文件 .env, 根据需要进行修改，之后就可以基于 docker compose 启动：

cd dify/docker

cp .env.example .env

docker compose up -d

默认访问 http:// 应该就可以看到 Dify 的页面。

docker 镜像问题

实际执行镜像拉取时发现，Docker hub 因为监管的原因已经无法访问了。为了解决这个问题，目前相对可行的方案：

利用一些目前可用的镜像服务，当前（2024-7-11）可用的是 public-image-mirror，通过修改本地的镜像下载地址进行加速；利用 Github Action 将镜像拉取至个人阿里云的的私有镜像仓库，可以参考 教程；

实际为了简单直接采用方案 1，在本地文件 /etc/docker/daemon.json 中添加：

{

"registry-mirrors": [

"https://docker.m.daocloud.io"

]

}

如果上面的地址不可用，可以尝试另一个测试可用的地址：

{

"registry-mirrors": [

"https://docker.anyhub.us.kg"

]

}

修改之后执行下面命令重启 docker 服务：

sudo systemctl daemon-reload

sudo systemctl restart docker

接下来就可以正常拉取镜像了。

Xinference 部署

XInference 的部署也选择基于 docker 部署，可以参考 XInference 部署，实际使用的部署命令为:

docker run -e XINFERENCE_MODEL_SRC=modelscope -v <local model path>:/models -e XINFERENCE_HOME=/models -p 9998:9997 --gpus all registry.cn-hangzhou.aliyuncs.com/xprobe_xinference/xinference:latest xinference-local -H 0.0.0.0

各位使用时将上面命令行中的 <local model path> 替换为期望服务器上模型存储的路径即可

上面的命令利用 XINFERENCE_MODEL_SRC=modelscope 指定了模型最终是从 modelscope 下载的，这样国内下载模型镜像的速度比较快。

上面的命令会将 docker 中的 9997 端口映射至本地的 9998 端口，部署完成后访问 http://<server ip>:9998/ui 就可以看到 XInference 可视化页面，有需要可以调整服务器上实际占用的端口。

docker GPU 不可用

上面的命令实际执行时会报错 docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]]., docker 目前是不能直接使用 GPU 设备的。

此时需要参考 Nvidia 文档 安装 nvidia-container-toolkit

首先需要先补全 apt-get 下载源：

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \

&& curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \

sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \

sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

接下来更新源，安装对应的包：

sudo apt-get update

sudo apt-get install -y nvidia-container-toolkit

安装完成之后修改 docker 配置文件 /etc/docker/daemon.json ：

{

"default-runtime": "nvidia",

"runtimes": {

"nvidia": {

"path": "nvidia-container-runtime",

"runtimeArgs": []

}

}

}

之后执行 sudo systemctl restart docker 重启 docker。

此时再执行上面的 docker run 命令去使用 GPU 设备就没问题了。

Dify 模型配置

上述服务配置好之后，就可以在 Xinference 下载所需的模型，XInference 启动后实际会占用服务器上的 9998。因此访问 http://<server ip>:9998/ui 就可以进入可视化页面下载所需的模型；

在 Xinference 上下载和运行所需的模型后可以返回 Dify 可视化页面，在 Dify 的设置页中配置对应的模型，对应的页面如下所示：

RAG 一般情况下需要配置上 LLM, Text Embedding 和 Rerank 模型。配置完成后就可以自由玩耍了。

总结

本文是实际部署 Dify + Xinference 组合的完整流程，实际上如果 docker 可用的话，整体的流程还是比较丝滑的。期望给后面折腾 Dify 部署的一些帮助，减少重复的踩坑。