【AI大语言模型应用】使用Ollama搭建本地大语言模型

简单介绍什么是Ollama

这玩意儿其实就是一个能够帮你快速启动并运行大语言模型的平台。

你可以类比于Java中的Springboot+maven

这个ollama是用go语言编写的，我对go语言了解不深，所以更细节的平台实现需要各位自行学习。

目前这个ollama支持 windows、linux、macos

下载Ollama

目前主要是两种安装方式：直接安装和docker安装

下面就直接开始了

平台：windows

下载地址：https://ollama.com/download/OllamaSetup.exe

很简单，直接下一步下一步就行。

平台：Linux (CentOS7)

直接命令安装：

<code>curl -fsSL https://ollama.com/install.sh | sh

如果存在安装不了的情况，那就自己手动安装包

根据不同的平台下载压缩包手动安装

amd64 ：https://ollama.com/download/ollama-linux-amd64.tgz

AMD GPU: https://ollama.com/download/ollama-linux-amd64-rocm.tgz

ARM64: https://ollama.com/download/ollama-linux-arm64.tgz

给ollama创建一个用户和组信息

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama

sudo usermod -a -G ollama $(whoami)

创建一个服务文件/etc/systemd/system/ollama.service

[Unit]

Description=Ollama Service

After=network-online.target

[Service]

ExecStart=/usr/bin/ollama serve

User=ollama

Group=ollama

Restart=always

RestartSec=3

Environment="PATH=$PATH"code>

[Install]

WantedBy=default.target

然后启动服务

sudo systemctl daemon-reload

sudo systemctl enable ollama

平台：macOS

<code>OLLAMA_HOST = 0.0.0.0

OLLAMA_MODELS = 你的models安装路径

Linux和macOS的自行百度设置环境变量，只需要将上面的这种映射对就行

然后重新启动Ollama

使用Ollama

使用命令 ollama list 查看已经下载了多少模型

下载并运行模型

<code>ollama run qwen:14b

可以下载哪些模型呢？

官方地址：https://ollama.com/library

我这里选择阿里千问模型

选择好版本，并复制右边的命令运行

注意网络要通畅（在pulling的时候，可以开启vpn）

使用模型：

打开终端输入<code>ollama run qwen 即可

使用Ollama提供的API

快速调用

目前你已经有了一个qwen大模型

直接使用ollama提供的API调用即可

请求url

POST http://localhost:11434/api/generate

请求体

{

“model”: “qwen2:7b”,

“prompt”: “你是谁?”,

“stream”: false

}

响应体

{

“model”: “qwen”,

“created_at”: “2024-09-17T10:22:20.1823352Z”,

“response”: “我是通义千问，由阿里云开发的人工智能模型。我的主要功能是回答用户的问题、提供信息和帮助解决问题等。如果您有任何问题或需要帮助，请随时告诉我，我会尽力提供支持。”,

“total_duration”: 3890331300,

“load_duration”: 3036409100,

“prompt_eval_count”: 11,

“prompt_eval_duration”: 65339000,

“eval_count”: 46,

“eval_duration”: 787166000

}

更多的API，请前往官方API地址：https://github.com/ollama/ollama/blob/main/docs/api.md

至此就完成了整个的Ollama模型的搭建工作