ollama是大模型部署方案，对应docker，本质也是基于docker的容器化技术。

从前面的文章可以看到，部署大模型做的准备工作是比较繁琐的，包括各个环节的版本对应。ollama提供了一个很好的解决方案。

ollama主要针对主流的LLaMA架构的开源大模型设计，并且已被LangChain、Taskweaver等在内的多个热门项目高度集成。同时ollama提供了openAI兼容的api，可以最大限度的减少理解和开发成本。

一、下载安装ollama

1.1 安装

官方地址：https://ollama.com/

开源地址：https://github.com/ollama/ollama

下载后双击安装：

一路下一步即可。

1.2 检验

ollama安装后默认已经启动，我们可以通过访问其提供的api服务来进行检验。

参考官方文档：ollama的api · ollama/ollama · GitHub

这里运行ollama的机器为windows系统， ip为192.168.3.154。

1.2.1 通过localhost检验

运行命令： 

<code>> curl http://localhost:11434/api/generate -d "{\"model\": \"qwen2\",\"prompt\": \"who are you?\",\"stream\":false}"

查看结果：

这里注意两点：

1、不要使用PowerShell(里面的curl参数不一样)，使用 cmd 或者 git Cmd 。

2、注意参数的引号，通过斜杠 \ 来转义。 

1.2.2 通过IP地址检验

运行命令： 

<code>> curl http://192.168.3.154:11434/api/generate -d "{\"model\": \"qwen2\",\"prompt\": \"who are you?\",\"stream\":false}"

查看结果：

提示连接不上："curl: (7) Failed to connect to 192.168.3.154 port 11434 after 2021 ms: Couldn't connect to server"。 

这是因为ollama安装后默认只能本地访问，接下来配置远程访问api。

1.3 配置

这里配置主要是因为两个需求：远程可以访问ollama的api接口服务以及自定义大模型存放路径。

ollama默认把大模型保存在路径 用户目录/.ollama/models 下：

基于各种原因，我们可能不希望使用这个默认路径，可以通过环境变量的配置来更改大模型保存的目录。

添加环境变量 OLLAMA_HOST 以及 OLLAMA_MODELS：

- OLLAMA_HOST，0.0.0.0， 配置后可以远程访问；- OLLAMA_MODELS, c:\ai\llms_ollama，配置后ollama拉取的大模型会存放在此路径；

这里有重要的一步，需要重启ollama，使配置生效。

在任务栏的ollama图标上点击右键，选择“Quit Ollama”退出ollama：

然后重新打开ollama：

1.4 重新检验

这里通过IP地址重新进行检验。

1.4.1 windows系统

运行命令：

<code>> curl http://192.168.3.154:11434/api/generate -d "{\"model\": \"qwen2\",\"prompt\": \"who are you?\",\"stream\":false}"

返回结果： 

1.4.2 linux系统和mac系统

生成Completion：

<code>> curl http://192.168.3.154:11434/api/generate -d '{"model": "qwen2","prompt": "who are you?","stream":false}'

返回结果：

这里注意参数的格式，和windows系统不一样，引号在这里直接使用不需要转义。 

生成Chat Completion：

<code>> curl http://192.168.3.154:11434/api/chat -d '{

"model": "qwen2",

"messages": [

{

"role": "user",

"content": "who are you?"

}

],

"stream": false

}'

返回结果：

二、部署运行大模型

接下来就是实际来部署一个大模型，这里以llama3为例。

 2.1 获取大模型部署命令

在ollama官网搜索llama3大模型：https://ollama.com/library

选择第一个llama3进入大模型详情页：

在上图可以看到默认有三个标签可以选择：最新版、8B和70B，这里我们选择 8B的，所以我们需要运行 ollama run llama3。如果我们需要部署70B的，则需要运行 ollama run llama3:70b。

2.2 部署大模型

我们可以直接运行 ollama run llama3，如果llama3没有下载过则会下载，否则直接运行。也可以先下载然后运行：

<code>> ollama pull llama3

> ollama run llama3

可以看到，使用方式跟docker是一样的，大模型对应了docker中的镜像。

下载完后会提示成功：

2.3 和大模型交互

接下来可以直接跟llama3对话，在三个箭头➡️后输入问题，llama3会给出回应：

可以看到ollama成功部署了大模型，并成功运行。 

三、在LangChain中使用Ollama

3.1 通过jupyter来运行

3.1.1 安装jupyter

参考 【AI工具】jupyter notebook和jupyterlab对比和安装-CSDN博客 安装jupyterlab。

3.1.2 新建一个notebook

在新的文件中输入如下代码：

<code># 引入ollama

from langchain_community.chat_models import ChatOllama

# 加载llama3模型

ollama_llm = ChatOllama(model="llama3")code>

# 构造Message

from langchain_core.messages import HumanMessage

messages = [

HumanMessage(

content="你好，请你介绍一下你自己",code>

)

]

# 发送Message

chat_model_response = ollama_llm.invoke(messages)

# 输入Message

chat_model_response

这里有个细节，代码一共是五个输入块，这是为了在出错时，可以快速定位是哪一块出了问题。

3.1.3 运行