服务器Ubuntu22.04系统下 ollama的详细部署安装和搭配open_webui使用
希陌ximo 2024-07-27 12:33:01 阅读 70
服务器Ubuntu22.04系统下 ollama的详细部署安装和搭配open_webui使用
一、ubuntu和docker基本环境配置1.更新包列表:2. 安装docker依赖3. 添加docker密钥4.添加阿里云docker软件源5.安装docker6.安装完成docker测试7. docker配置国内镜像源
二、安装英伟达显卡驱动1.使用 Apt 安装
三、使用docker安装ollama1. 使用docker拉取ollama镜像2.使用docker运行以下命令来启动 Ollama 容器3.使用ollama下载模型
四、使用docker安装open-webui1. docker部署ollama web ui2.注册账号3.成功进入:4. 聊天界面
一、ubuntu和docker基本环境配置
1.更新包列表:
打开终端,输入以下命令:
<code>sudo apt-get update
sudo apt upgrade
更新时间较长,请耐心等待
2. 安装docker依赖
sudo apt-get install ca-certificates curl gnupg lsb-release
3. 添加docker密钥
curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
4.添加阿里云docker软件源
sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
5.安装docker
apt-get install docker-ce docker-ce-cli containerd.i
6.安装完成docker测试
docker -v
7. docker配置国内镜像源
7.1 编辑配置文件
<code>vi /etc/docker/daemon.json
按i进入编辑模式
加入以下内容:
{
"registry-mirrors": [
"https://docker.mirrors.ustc.edu.cn",
"https://hub-mirror.c.163.com",
"https://docker.m.daocloud.io",
"https://ghcr.io",
"https://mirror.baidubce.com",
"https://docker.nju.edu.cn"
]
}
按ESC键退出编辑模式,接着输入:wq,保存并退出
7.2 重新加载docker
sudo systemctl daemon-reload
7.3 重启docker
sudo systemctl restart docker
二、安装英伟达显卡驱动
1.使用 Apt 安装
配置存储库
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
| sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
| sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
| sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
更新包列表
sudo apt-get update
安装 NVIDIA Container Toolkit 软件包
sudo apt-get install -y nvidia-container-toolkit
配置 Docker 以使用 Nvidia 驱动程序
sudo nvidia-ctk runtime configure --runtime=docker
重新启动docker
sudo systemctl restart docker
三、使用docker安装ollama
1. 使用docker拉取ollama镜像
docker pull ollama/ollama:latest
国内镜像
docker pull dhub.kubesre.xyz/ollama/ollama:latest
2.使用docker运行以下命令来启动 Ollama 容器
docker run -d --gpus=all --restart=always -v /home/docker/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
使ollama保持模型加载在内存(显存)中
参考文章
ollama如何保持模型加载在内存(显存)中或立即卸载执行以下命令:
docker run -d --gpus=all -e OLLAMA_KEEP_ALIVE=-1 --restart=always -v /home/docker/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
3.使用ollama下载模型
这里示例下载阿里的通义千问
docker exec -it ollama ollama run qwen2
运行效果如图:
模型库
模型 | 参数数量 | 大小 | 下载方式 |
---|---|---|---|
Llama 2 | 7B | 3.8GB | <code>docker exec -it ollama ollama run llama2 |
Mistral | 7B | 4.1GB | docker exec -it ollama ollama run mistral |
Dolphin Phi | 2.7B | 1.6GB | docker exec -it ollama ollama run dolphin-phi |
Phi-2 | 2.7B | 1.7GB | docker exec -it ollama ollama run phi |
Neural Chat | 7B | 4.1GB | docker exec -it ollama ollama run neural-chat |
Starling | 7B | 4.1GB | docker exec -it ollama ollama run starling-lm |
Code Llama | 7B | 3.8GB | docker exec -it ollama ollama run codellama |
Llama 2 Uncensored | 7B | 3.8GB | docker exec -it ollama ollama run llama2-uncensored |
Llama 2 | 13B | 7.3GB | docker exec -it ollama ollama run llama2:13b |
Llama 2 | 70B | 39GB | docker exec -it ollama ollama run llama2:70b |
Orca Mini | 3B | 1.9GB | docker exec -it ollama ollama run orca-mini |
Vicuna | 7B | 3.8GB | docker exec -it ollama ollama run vicuna |
LLaVA | 7B | 4.5GB | docker exec -it ollama ollama run llava |
Gemma | 2B | 1.4GB | docker exec -it ollama ollama run gemma:2b |
Gemma | 7B | 4.8GB | docker exec -it ollama ollama run gemma:7b |
四、使用docker安装open-webui
1. docker部署ollama web ui
查看自己服务器的业务端口,我们这里是30131-30140
main版本
<code>docker run -d -p 30131:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main
cuda版本
docker run -d -p 30131:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:cuda
安装成功后,可以在另一台计算机进行访问,如下:
2.注册账号
默认第一个账号是管理员
3.成功进入:
4. 聊天界面
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。