您可以随时检查批处理的状态，这也将返回一个 Batch 对象。

from openai import OpenAI

client = OpenAI()

client.batches.retrieve("batch_abc123")

给定 Batch 对象的状态可以是以下任何一个：

5. 检索结果

批处理完成后，您可以通过使用 Batch 对象的 output_file_id 字段对 Files API 发出请求，将结果下载到您的计算机上的文件中，本例中是 batch_output.jsonl。

from openai import OpenAI

client = OpenAI()

content = client.files.content("file-xyz123")

输出 .jsonl 文件将为输入文件中每个成功请求行提供一个响应行。批处理中的任何失败请求将其错误信息写入错误文件，可以通过批处理的 error_file_id 找到。

请注意，输出行顺序可能不匹配输入行顺序。不要依赖顺序来处理结果，而是使用 custom_id 字段，该字段将出现在输出文件的每一行中，并允许您将输入中的请求映射到输出中的结果。

{ "id": "batch_req_123", "custom_id": "request-2", "response": { "status_code": 200, "request_id": "req_123", "body": { "id": "chatcmpl-123", "object": "chat.completion", "created": 1711652795, "model": "gpt-3.5-turbo-0125", "choices": [{ "index": 0, "message": { "role": "assistant", "content": "Hello."}, "logprobs": null, "finish_reason": "stop"}], "usage": { "prompt_tokens": 22, "completion_tokens": 2, "total_tokens": 24}, "system_fingerprint": "fp_123"}}, "error": null}

{ "id": "batch_req_456", "custom_id": "request-1", "response": { "status_code": 200, "request_id": "req_789", "body": { "id": "chatcmpl-abc", "object": "chat.completion", "created": 1711652789, "model": "gpt-3.5-turbo-0125", "choices": [{ "index": 0, "message": { "role": "assistant", "content": "Hello! How can I assist you today?"}, "logprobs": null, "finish_reason": "stop"}], "usage": { "prompt_tokens": 20, "completion_tokens": 9, "total_tokens": 29}, "system_fingerprint": "fp_3ba"}}, "error": null}

6. 取消批处理

如有必要，您可以取消正在进行的批处理。批处理的状态将更改为取消，直到正在运行的请求完成，之后状态将更改为已取消。

from openai import OpenAI

client = OpenAI()

client.batches.cancel("batch_abc123")

7. 获取所有批次的列表

您随时可以查看所有批次。对于有许多批次的用户，您可以使用 limit 和 after 参数对结果进行分页。

from openai import OpenAI

client = OpenAI()

client.batches.list(limit=10)

模型可用性

批处理 API 目前可用于执行以下模型的查询。批处理 API 支持与这些模型的端点相同格式的文本和视觉输入：

gpt-4ogpt-4-turbogpt-4gpt-4-32kgpt-3.5-turbogpt-3.5-turbo-16kgpt-4-turbo-previewgpt-4-vision-previewgpt-4-turbo-2024-04-09gpt-4-0314gpt-4-32k-0314gpt-4-32k-0613gpt-3.5-turbo-0301gpt-3.5-turbo-16k-0613gpt-3.5-turbo-1106gpt-3.5-turbo-0613text-embedding-3-largetext-embedding-3-smalltext-embedding-ada-002

批处理 API 还支持微调模型。

速率限制

批处理 API 的速率限制与现有的每个模型的速率限制分开。批处理 API 具有两种新类型的速率限制：

每批限制：单个批处理可以包含最多 50,000 个请求，并且批处理输入文件的大小可以达到 100 MB。请注意，/v1/embeddings 批次也受限于批处理中所有请求中最多 50,000 个嵌入输入。每个模型的已排队提示令牌：每个模型对于批处理处理有一定数量的最大已排队提示令牌。您可以在平台设置页面上找到这些限制。

今天，批处理 API 没有输出令牌或提交请求数量的限制。由于批处理 API 的速率限制是一个新的、独立的池，使用批处理 API 不会消耗您标准每个模型速率限制的令牌，从而为您提供一个方便的方法来增加您可以在查询我们的 API 时使用的请求和处理令牌的数量。

批处理到期

未能及时完成的批次最终会转移到已过期状态；该批次中未完成的请求将被取消，并且对已完成的请求的任何响应将通过批处理的输出文件提供。您将被收取来自任何已完成请求消耗的令牌费用。

其他资源

有关更具体的示例，请访问 OpenAI Cookbook，其中包含用于分类、情感分析和摘要生成等用例的示例代码。

原文本文

博客 - 从零开始学AI公众号 - 从零开始学AICSDN - 从零开始学AI掘金 - 从零开始学AI知乎 - 从零开始学AI阿里云 - 从零开始学AI腾讯云 - 从零开始学AI