使用AsyncOpenAI进行异步调用可以提高性能和效率，特别是在处理大量I/O操作时。异步编程允许程序在等待API响应的同时，执行其他任务，从而避免了线程阻塞。

3.3 代码结构

异步代码与同步代码在结构上有所不同。异步代码使用async和await关键字，并且通常与异步框架（如asyncio）一起使用。这要求开发者对异步编程有一定的了解和掌握。

3.4 并发性能

在处理多个请求时,AsyncOpenAI可以显著提高性能。

3.5 事件循环兼容性:

AsyncOpenAI可以无缝集成到使用asyncio的应用中。

4. 结论

对于需要高并发或实时数据流的应用，AsyncOpenAI是更好的选择。它提供了更大的灵活性和更好的性能，特别是在处理多个API调用或流式响应时。然而，对于简单的单次调用或不需要异步功能的脚本，传统的OpenAI客户端可能更为简单直接。

5.补充

在全局使用AsyncOpenAI的状态下，

批处理输出(Batch output：是指将所有数据处理完毕后一次性输出全部结果,而不是像流式输出那样逐步、实时地输出数据)也称非流式输出

是无法正常获取到输出的，获取到的是<coroutine object AsyncCompletions.create at 0x7f8ee3f93990>

所以在AsyncOpenAI使用流式输出时还想同时使用非流式输出，参考下面的代码：

async def extract_summary(text):

tokenizer = AutoTokenizer.from_pretrained('/home/hyh/model/Qwen2-7B-Instruct')

openai_api_base = "http://192.168.10.61:7862/v1"

openai_api_key = "EMPTY"

client = OpenAI(api_key=openai_api_key,base_url=openai_api_base,)

if isinstance(text,str):

if len(text) < 30:

return text

tokens = tokenizer.tokenize(text)

max_length = 30000 # 32768

truncated_tokens = tokens[:max_length]

long_text = tokenizer.convert_tokens_to_string(truncated_tokens)

chat_response = await client.chat.completions.create(

model="Qwen",code>

messages=[

{ "role": "system", "content": "总结下面的文本形成摘要,如果文本中有前言、摘要、目录、序章等，则仅参考这一部分进行总结。\n"},

{ "role": "user", "content": long_text},

],

temperature=0

)

summary = chat_response.choices[0].message.content

return summary

else:

raise ValueError("extract_summary函数获取到了非字符串")

其实就是多了一个await等待模型回答完，另外如果别的异步函数调用了这个函数，还需要在extract_summary再加await