Ollama + (Anythingllm / Open WebUI / MaxKB)搭建本地大模型
yong472727322 2024-06-11 17:33:03 阅读 55
个人体验MaxKB做知识库效果最好
一、Ollama
1、下载Ollama
地址:Download Ollama on macOS
curl -fsSL https://ollama.com/install.sh | sh
2、下载指定的模型
地址:library
# Llama3
ollama run llama3:8b
# 这个模型可以将文本内容转换成向量数据
ollama pull nomic-embed-text:v1.5
二、Open WebUI
1、拉取镜像
# 拉取镜像
docker pull ghcr.io/open-webui/open-webui:main
2、(可选)使用代理拉取镜像
# 如果拉不动的话加个代理
docker pull ghcr.dockerproxy.com/open-webui/open-webui:main
# 重命名镜像(如果是通过代理下载的) docker tag ghcr.dockerproxy.com/open-webui/open-webui:main ghcr.io/open-webui/open-webui:main
# 删除代理镜像(如果是通过代理下载的)
docker rmi ghcr.dockerproxy.com/open-webui/open-webui:main
3、运行容器
docker run -p 18080:8080 -e OLLAMA_BASE_URL=http://10.16.2.70:11434 --name open-webui --restart always -v open-webui-data:/app/backend/data ghcr.io/open-webui/open-webui:main
4、使用浏览器访问链接
http://192.168.2.250:18080/
三、Anythingllm
1、拉取镜像
docker pull mintplexlabs/anythingllm
2、运行容器
export STORAGE_LOCATION=$HOME/anythingllm && \ mkdir -p $STORAGE_LOCATION && \ touch "$STORAGE_LOCATION/.env" && \ chmod -R 777 ${STORAGE_LOCATION} && \ docker run -d -p 3001:3001 \ --cap-add SYS_ADMIN \ -v ${STORAGE_LOCATION}:/app/server/storage \ -v ${STORAGE_LOCATION}/.env:/app/server/.env \ -e STORAGE_DIR="/root/anythingllm/storage" \ mintplexlabs/anythingllm
3、使用浏览器访问链接
http://192.168.2.250:3001
四、MaxKB
1、拉取镜像
docker pull 1panel/maxkb
2、运行容器
docker run -d --name=maxkb -p 28080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb
3、使用浏览器访问链接
http://192.168.2.250:28080
附1:
更改模型存放位置
1. 进入配置默认目录:
cd /etc/systemd/system/
2. 配置目录权限给【ollama用户及用户组】
chown -R ollama:ollama /home/ollama
3.打开配置文件,在[Service]下添加OLLAMA_MODELS环境变量,
vi ollama.service
[Service]
# 修改模型位置
Environment="OLLAMA_MODELS=/home/ollama/models
# 配置其它机器可访问
Environment="OLLAMA_HOST=0.0.0.0"
4. 重启ollama
systemctl daemon-reloadsystemctl restart ollama.service
5、Open Web UI
密码:2kkVaZz91wQ2Rjck
附2:
参考链接1:利用AI解读本地TXT、WORD、PDF文档 - 哔哩哔哩
参考链接2:基于Ollama+AnythingLLM搭建本地私有知识库系统-CSDN博客
参考链接3:操作教程丨MaxKB+Ollama:快速构建基于大语言模型的本地知识库问答系统_应用_部署_Base
上一篇: web期末作业设计网页:动漫网站设计——玲芽之旅(10页) HTML+CSS+JavaScript 学生DW网页设计作业成品 动漫网页设计作业 web网页设计与开发 html实训大作业
本文标签
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。