windows环境(非docker)中利用Ollama和open webui部署运行大模型

幻紫辰 2024-06-13 08:33:03 阅读 97

 1. ollama 下载安装

GitHub - ollama/ollama: Get up and running with Llama 3, Mistral, Gemma, and other large language models.

 

安装完成后可以在cmd命令提示符窗口中输入ollama -v查看是否安装好。

输入ollama run llama3可以直接下载llama3大模型并运行进行对话,默认是llama3:latest版本,8b的一个版本。该模型只能进行文本对话。

2. open webui下载安装

🚀 Getting Started | Open WebUI

官方文档推荐使用docker安装,这里我使用非docker的方式安装

 2.1 安装node.js

下载 | Node.js 中文网 (nodejs.cn)

我直接安装的最新版本20.12.2

2.2 安装npm

node.js 20.12.2版本需要npm版本10.5.0,较低版本后续配置open webui时会报错,通常配置过程中报错都是版本依赖问题。

由于本地已经有较低npm版本了,因此这里我就通过命令直接更新到指定版本

npm install npm@10.5.0

2.3 根据官方文档配置环境

先用git将源码拉下来并修改配置文件,配置文件中有ollama server端口地址11434,后续运行的命令 npm i以及pip安装依赖都需要在虚拟环境中运行。pip安装依赖过程可能网速会比较慢。

我本地环境中anaconda3版本不是最新的,也没准备直接更新到最新,因此cmd中直接通过conda命令创建的虚拟环境配置的。

conda create -n ollama python=3.11

conda activate ollama

配置好了启动open webui在虚拟环境中执行start_windows.bat,而不是start.sh,因为这里是windows环境。这里需要注意的是首次运行时会连接官网https://huggingface.co在线安装transformers库,由于国内被墙这里会报错。我这里是通过科学上网的方式下载的,据说有国内源可以下载,这里我就不在介绍了。错误如下

3. open webui界面以及相关设置

需要先创建帐号登录

设置汉语界面,右上角进去设置

然后选择模型创建对话,这里我只下载了一个llama3模型。

下载新模型,这里应该是调用的ollama api下载的模型,实际和ollama pull <模型名>没什么区别。模型文件中也可以下载由open webui社区提供的模型。

ollama支持的模型可点击上面链接查看。



声明

本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。