搭建开源大模型平台的步骤与模型介绍

在这篇文章中，我将分享如何在Windows上使用Ollama和OpenUI搭建开源大模型平台的步骤，并介绍我所部署的几个模型及其擅长的领域。

目录

搭建开源大模型平台的步骤与模型介绍一、搭建平台步骤1. 安装Ollama2. 安装OpenUI3. 配置模型4. 部署模型5. 访问与使用

二、模型擅长的信息三、个人体验四、示例

一、搭建平台步骤

1. 安装Ollama

首先，确保你有最新版本的Windows。访问Ollama的官方网站，下载并安装最新版本的Ollama。安装完成后，可以通过命令行工具确认Ollama是否安装成功：

<code>ollama version

2. 安装OpenUI

接下来，前往OpenUI的GitHub页面，下载并解压相关文件。按照说明配置环境变量，以便在命令行中使用OpenUI。

OpenUI地址：https://docs.openwebui.com/

以下是翻译后的安装命令（本地安装直接第一条）

默认配置安装 如果Ollama在你的电脑上，请使用以下命令：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

如果Ollama在不同的服务器上，请使用以下命令：

要连接到另一台服务器上的Ollama，需将OLLAMA_BASE_URL更改为服务器的URL（API-url）：

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

要使用Nvidia GPU支持运行Open WebUI，请使用以下命令：

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

3. 配置模型

在Ollama中，你可以使用命令行工具来管理和部署模型。以下是一些常用的命令：

拉取模型：

ollama pull <model_name>

启动模型：

ollama serve <model_name>

4. 部署模型

我目前已经部署了多个模型，具体如下：

llava-llama3: 适合进行多模态任务，如图像与文本的结合。

mxbai-embed-large: 强大的文本嵌入模型，适合信息检索和语义分析。

bge-m3: 专注于生成模型，适合内容生成与对话。

glm4: 高效的多轮对话模型，特别适用于客服和问答系统。

qwen2.5: 强调质量的文本生成，适合需要高质量文本的应用。

mistral-nemo: 适用于大规模语言模型的训练与推理。

gemma2: 强大的多语言支持，适合跨语言的任务。

llava: 适合长文本理解和生成的模型。

deepseek-coder-v2: 专为编程辅助设计，支持代码生成和优化。

shaw/dmeta-embedding-zh: 中文嵌入模型，专注于中文语境中的语义理解。

llama3.1: 综合能力强，适合多种NLP任务。

5. 访问与使用

完成模型部署后，可以通过Web界面进行访问和使用。确保你的防火墙设置允许相关端口通过，以便在网络上进行交互。

二、模型擅长的信息

llava-llama3: 在视觉理解与文本生成方面表现优异，适合多种多模态任务。

mxbai-embed-large: 优秀的文本嵌入能力，适用于信息检索、推荐系统等领域。

bge-m3: 专注于内容生成的能力，适合社交媒体和内容创作。

glm4: 多轮对话能力强，适合智能客服和交互式问答系统。

qwen2.5: 生成文本的质量较高，适合文学创作和高质量内容生产。

mistral-nemo: 用于大规模模型的训练，适合企业和研究机构的深度学习项目。

gemma2: 多语言能力强，支持跨国企业的多语言需求。

llava: 适合处理长文本，能够进行深入的文本分析。

deepseek-coder-v2: 代码辅助生成与优化，适合程序开发和调试。

shaw/dmeta-embedding-zh: 针对中文的嵌入和理解，适合中文信息处理。

llama3.1: 综合能力强，适用于多种NLP任务。

三、个人体验

搭建这个开源大模型平台让我能够灵活地使用各种先进的AI模型，提升了我的工作效率和研究能力。

希望这篇文章对你有所帮助，祝你在搭建AI模型的过程中取得成功！

四、示例

可以看到这个AI模型还是不错的。