摘要：

本文主要记录这一段时间对本地大模型搭建的心得。

作为一个资深程序员，在AI席卷全球的时候，深深感觉到了一丝危机感，不禁有一个想法不断在脑海闪现：我会不会真的哪一天被AI给取代了？

从哪入手

程序员出生的我，掌握了很多语言，从前端到数据库，再到运维，基本都能一个人搞定，所以，我对搭建一个AI程序还是很自信的。

于是，我开始研究各个比较火的大模型：Chatgpt3.5、chatgpt4.0、chatgpt4o、llama、通义千问、豆包、等等。

发现他们的api从以前的不收费到现在的慢慢开始收费，我相信，后面肯定会收费的。于是，我就有了搭建本地大模型的方法，用别人的再爽，那也是别人的，万一哪天，别人宕机了，或者涨价了，你是用还是不用呢？

调研本地安装方法

当有了搭建的想法之后，就是落地了。怎么安装本地大模型呢？于是各种搜索，，，，挺费时间的，还需要实践。不得不说，你们运气真好，碰到我了。

经过实践之后，我发掘了两套部署方式：

1、LmStudio ，这个简单，把这个工具下载下来，然后，再工具里面下载大模型就行了。

1.1工具下载地址：https://lmstudio.ai/

下载完之后，直接安装就行了。

打开之后的界面是这个样子：

1.2 这里需要点左边最后一个文件夹，修改一下你模型下载的地址，不然你下载的模型都会默认在C盘。

1.3 然后就是下载大模型了

在主页，你可以选择你要下载的大模型，然后下载。

下载半天你会发现，下载不了，爆红了：

此时不要着急，找到它下载的配置文件，一般在：C:\Users\你的电脑名称.cache\lm-studio。

打开下面的文件：

把所有的：huggingface.co换成：hf-mirror.com

保存后，重新打开LmStudio,点try_resume,发现可以下载了。

下载完之后，你就可以用啦。

2、ollama，这个稍微有点复杂

2.1 首先下载这个软件

地址是：https://ollama.com/download

下载完之后，安装。