Ollama 快速部署

安装 Docker：从 Docker 官网 下载并安装。

部署 Ollama：

使用以下命令进行部署：

<code>docker run -d -p 11434:11434 --name ollama --restart always ollama/ollama:latest

进入容器并下载 qwen2.5:0.5b 模型：

进入 Ollama 容器：

docker exec -it ollama bash

在容器内下载模型：

ollama pull qwen2.5:0.5b

Python 环境准备

在开始之前，请确保您已安装 requests 模块。可以通过以下命令安装：

pip install requests

我们还将初始化基本的 API 相关配置，如下所示：

import requests

# 基础初始化设置

base_url = "http://localhost:11434/api"

headers = {

"Content-Type": "application/json"

}

对话方式

生成文本补全 (Generate a Completion)

API: /generate功能: 生成指定模型的文本补全。输入提示词后，模型根据提示生成文本结果。请求方法: POSTOllama API 参数:

model（必填）：模型名称，用于指定生成模型，例如 qwen2.5:0.5b。prompt（必填）：生成文本所用的提示词。suffix（可选）：生成的补全文本之后附加的文本。stream（可选）：是否流式传输响应，默认 true，设置为 false 时返回完整文本。system（可选）：覆盖模型系统信息的字段，影响生成文本风格。temperature（可选）：控制文本生成的随机性，默认值为 1。

def generate_completion(prompt, model="qwen2.5:0.5b"):code>

url = f"{ base_url}/generate"

data = {

"model": model,

"prompt": prompt,

"stream": False

}

response = requests.post(url, headers=headers, json=data)

return response.json().get('response', '')

# 示例调用

completion = generate_completion("介绍一下人工智能。")

print("生成文本补全:", completion)

流式生成文本补全 (Streaming Completion)