背景：

随着人工智能技术的飞速发展，AI已成为我们日常生活和工作中不可或缺的一部分，它们强大的学习和处理能力在各个领域都展现出惊人的潜力。对于编程爱好者来说，AI俨然已经成为我们强有力的助手，极大地提高了开发效率和创新能力。

然而，与此同时，也有不少人关心AI技术可能带来的隐私泄露问题。AI在解决我们问题的同时，可能就已获取到我们的敏感信息、公司的知识产权，如果这些数据没有得到妥善的保护和管理，就可能面临被滥用或泄露的风险。

因而部署本地开源大模型的需求越发迫切，通过本地部署，模型和交互数据均存储在本地，数据安全得到保证、符合隐私需要、避免网络延迟或断网风险自主可控等。

部署后的界面效果：

与常用在线AI使用习惯完全相同，支持多用户登录，注册用户数据均保存在本地服务器中。

部署过程：

安装Ollama工具

Ollama是一个开源的大型语言模型服务工具，它帮助用户快速在本地运行大模型。通过简单的安装指令，用户可以执行一条命令就在本地运行开源大型语言模型。Ollama极大地简化了在Docker容器内部署和管理LLM的过程，使得用户能够快速地在本地运行大型语言模型。

下载地址：https://ollama.com/download

安装后，启动Windows PowerShell，输入Ollama -v回车后，输出版本信息，即表示安装成功。

<code> 在https://ollama.com/library中可查看Ollama中可用的大模型。

输入ollama run “模型名称”即可自动下载Ollama中已有的模型并在下载后运行，比如

ollama run qwen2:1.5b 下载并运行阿里通译千问2的1.5B版本大模型

ollama run gemma:2b 下载并运行谷歌gemma的2B版本大模型

注：b为Billion十亿，1.5b即15亿可训练参数/神经元,值越大越精准，但对算力和存储的要求也越高。为了适配不同需求，开源大模型都有不同的量级模型库供大家选择，例如通译千问2有0.5B 1.5B 7B 72B四种模型库。

<code>下载完成出现>>>提示符后就可以输入问题与AI聊天啦，输入/exit退出。

<code>至此一个本地化的大模型部署就基本完成了！

部署特殊大模型

毕竟Ollama提供的大模型有限，尤其缺少对中文兼容性较好的模型，鉴于此我们需要下载所需的特殊大模型，并通过Ollama运行起来。

比如当下炙手可热的Meta Llama3中文微调版，微调后的模型能更好支持中文问答。

Llama3于2024年4月18日发布，各项指标全面逼近GPT-4，它提供了8B和70B两个版本，8B模型版本最低仅需4G显存即可运行。

下载模型推荐使用GiteeAI，速度更快，输入关键词“llama 3”检索模型。

地址：https://ai.gitee.com/models?q=llama+3&p=1

<code>有条件的同学可以使用Huggingface，开源大模型更多更全。

https://huggingface.co/models

推荐GGUF格式的大模型，模型容量更小

<code>克隆仓库：

<code>在Windows PowerShell中使用CD命令切换至需要保存模型的路径，然后执行以下脚本克隆模型数据。

<code>克隆时间与网络速度和模型大小有关，请耐心等待。

新建Config.txt文件，将"From"后的路径改为已下载模型中的GGUF文件路径:

FROM "C:/llama3/Llama3-8B-Chinese-Chat-GGUF-f16/Llama3-8B-Chinese-Chat-f16-v2\_1.gguf"

TEMPLATE """{ {- if .System }}

<|im\_start|>system { { .System }}<|im\_end|>

{ {- end }}

<|im\_start|>user

{ { .Prompt }}<|im\_end|>

<|im\_start|>assistant

"""

SYSTEM """"""

PARAMETER stop <|im\_start|>

PARAMETER stop <|im\_end|>

在Windows PowerShell 中切换至config.txt文件所在路径， 执行以下命令:

ollama create llama3-cn -f ./config.txt

<code>即根据config.txt的内容将下载的大模型转换为名称llama3-cn的本地模型。

成功转换后用ollama list命令查看已安装模型：

<code>可以下载多个模型，给每个模型写一个配置文件（仅需修改路径），转换时起不同的名字，就可以用Ollama方便地运行各种模型。

命令行运行大模型:

ollama run llama3-cn

出现>>>提示符时就可以向AI提问了，输入/exit退出。

<code>需要注意的是一些模型运行需要依赖强劲的CPU和GPU，所以不同电脑运行速度可能不同。

交互界面

通过以上部署我们已经可以通过命令行实现大模型使用，不过为了进一步提高交互性，可以借助Docker和OpenWebUI实现ChatGPT的聊天效果。

Docker 是一个开源的软件平台，主要用于开发、发布和运行应用程序。它通过提供一种虚拟化的操作环境，使得开发人员可以轻松地将应用程序及其所有依赖项打包成一个标准化的单元，这个单元称为“容器”。容器化的应用可以轻松部署到各种云平台，享受云原生的优势。

下载链接：

https://www.docker.com/products/docker-desktop/

或 ：

链接：https://pan.baidu.com/s/1aAw6KCr8l2yQziHw6cpDRA

提取码：royx

安装过程选择默认设置即可。

安装后在Windows PowerShell中，输入 docker -v，显示版本号即表示安装成功。

启动Windows PowerShell,执行以下脚本安装OpenWebUI

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

安装完成后启动Docker应用程序，将看到OpenWebUI

浏览器中输入本地网址：localhost:3000，启动Open WebUI网页界面

<code>首次启动需要注册账户，**注册信息保存在本地电脑中**。

注意：

第一个注册用户默认为管理员，其后注册的用户需要管理员激活方能使用。

OpenWebUI不会与外部建立任何链接，所有数据会安全的存储在本地托管的服务器或电脑上。

<code>登录后选择Ollama已运行的其中一个模型，问答过程中可以随时切换模型。

<code>最后，在本地化AI的协助下开始高效的工作吧！

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。

二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【<code>保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【<code>保证100%免费】🆓