Ollama是一个用于在本地运行大型语言模型（LLM）的开源框架。它旨在简化在Docker容器中部署LLM的过程，使得管理和运行这些模型变得更加容易。Ollama提供了类似OpenAI的API接口和聊天界面，可以非常方便地部署最新版本的GPT模型并通过接口使用。此外，Ollama还支持热加载模型文件，用户无需重新启动即可切换不同的模型。

参考资料：

官网：GitHub - ollama/ollama: Get up and running with Llama 2, Mistral, Gemma, and other large language models.

 介绍文章：

从22K star的超强工具：Ollama，一条命令在本地跑 Llama2 - 知乎

最简步骤：

下载和安装：

<code>curl https://ollama.ai/install.sh | sh

 运行例子：

ollama run phi

# ollama run llama

phi更小，更方便测试。然后就会进入交互对话的界面了，比如：

ollama run phi

>>> 你好

 Hello!  How can I assist you today?

>>>  中国首都是哪里？

 Beijing is the capital city of China and it

ollama详细安装步骤：

初始安装

初步尝试了一下，在本地和AIStudio安装，执行：

curl https://ollama.ai/install.sh | sh

本地显示一个进度条，速度特别慢，估计要2个小时。快慢取决于网速，最终测试安装估计用了4-6个小时。

AIStudio直接在第一步就被拒了，直接报curl Empty reply from server。另Ollama需要pytorch，所以在AIStudio里最终是不适配的。

运行phi模型

phi模型只有1.7G，下载速度也比较快，大约几分钟就下好了。

运行和输出：

ollama run phi

pulling manifest

pulling 04778965089b... 100% ▕███████████████████▏ 1.6 GB

pulling 7908abcab772... 100% ▕███████████████████▏ 1.0 KB

pulling 774a15e6f1e5... 100% ▕███████████████████▏ 77 B

pulling 3188becd6bae... 100% ▕███████████████████▏ 132 B

pulling 0b8127ddf5ee... 100% ▕███████████████████▏ 42 B

pulling 4ce4b16d33a3... 100% ▕███████████████████▏ 555 B

verifying sha256 digest

writing manifest

removing any unused layers

success

>>> 你好

Hello! How can I assist you today?

>>> 中国首都是哪里？

Beijing is the capital city of China and it

总结：

Ollama是一个强大的工具，适用于希望在本地环境中探索和使用大型语言模型的用户，特别是那些对AI技术有深入兴趣和需求的专业人士。