手把手从0开始,使用Ollama+OpenWebUI本地部署阿里通义千问Qwen2 AI大模型

capricornce 2024-08-26 16:31:01 阅读 80

💥Ollama介绍

Ollama是一个开源框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。它提供了一套简单的工具和命令,使任何人都可以轻松地启动和使用各种流行的LLM,例如GPT-3、Megatron-Turing NLG和WuDao 2.0。

💥qwen-2模型

Qwen-2(Qwen-2,量子阱增强神经网络版本2)是阿里巴巴集团开发的先进人工智能语言模型。基于 Qwen-1 的成功和经验教训,Qwen-2 引入了多项关键增强功能和功能,旨在提高其性能、多功能性和跨各个领域的适用性。

💥部署教程

下载Ollama

官网:https://ollama.com/

下载安装过程,简单, 安装完成后, 右下角有个小图标(第一个)

选择模型

挑选一个模型:

模型大小越小, 功能越简单, 部署简单, 体验一般。 反之,模型越大, 体验越完善, 部署成本大。

测试体验, 可以选择1.5b

💥运行模型

方式1

打开cmd命令行:运行

ollama run qwen2:1.5b,看到success就成功了,然后随便输入什么, 就可以体验了

方式2:OpenWebUI-页面

Open WebUI介绍:

Open WebUI 是一个仿照 ChatGPT 界面,为本地大语言模型提供图形化界面的开源项目,可以非常方便的调试、调用本地模型。你能用它连接你在本地的大语言模型(包括 Ollama 和 OpenAI 兼容的 API),也支持远程服务器。Docker 部署简单,功能非常丰富,包括代码高亮、数学公式、网页浏览、预设提示词、本地 RAG 集成、对话标记、下载模型、聊天记录、语音支持等。

使用docker 安装

原文建议,直接docker命令安装:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

但是因为镜像问题, 实在拉不下来,换了阿里云的镜像也没好。 

最终,换用了南京大学镜像站ghcr.nju.edu.cn的镜像,效果是一样的。

配置docker: "https://ghcr.nju.edu.cn"

docker pull ghcr.nju.edu.cn/open-webui/open-webui:main

拉到镜像后, 启动就好了

访问地址

http://localhost:3000/

选择模型, 就可以了

参考文章

参考文章1:使用Ollama+OpenWebUI本地部署阿里通义千问Qwen2 AI大模型_ollama qwen2-CSDN博客文章浏览阅读9k次,点赞134次,收藏119次。Ollama是一个开源框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。qwen-2(Qwen-2,量子阱增强神经网络版本2)是阿里巴巴集团开发的先进人工智能语言模型。基于 Qwen-1 的成功和经验教训,Qwen-2 引入了多项关键增强功能和功能,旨在提高其性能、多功能性和跨各个领域的适用性。_ollama qwen2

https://blog.csdn.net/jxjdhdnd/article/details/139755600

参考文章2:

1panel中open-webui镜像下载失败问题解决_ghcr.io 加速-CSDN博客文章浏览阅读8.6k次,点赞26次,收藏28次。1panel中open-webui镜像下载失败问题解决_ghcr.io 加速

https://blog.csdn.net/yang2330648064/article/details/137185784



声明

本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。