系列篇章💥

目录

系列篇章💥引言一、概述二、技术架构1、组件概览2、模型服务接入

三、功能特点1、指令解析与执行2、工具集成与自动化3、任务规划与记忆4、多模态交互

四、Qwen-Agent安装部署五、Qwen-Agent开发实践导入依赖库第1步（可选）：定义工具函数第2步：定义LLM第3步：创建一个代理。第4步：定义多轮对话机器人

结语参考引用

引言

随着人工智能技术的飞速发展，大型语言模型（LLM）在各个领域展现出了巨大的潜力。Qwen-Agent，一个基于Qwen模型的框架，为开发者提供了一个强大的工具，以实现指令跟随、工具使用、规划和记忆等高级功能。本文将详细介绍Qwen-Agent的基本概念、技术特点、功能优势以及实际代码实践，旨在为读者提供一个全面的视角，以便更好地理解和应用这一框架。

一、概述

Qwen-Agent 是一款多功能的开发框架，专为构建基于大型语言模型（LLM）的智能Agent应用而设计。该框架深度整合了通义千问模型（Qwen），赋予开发者强大的指令遵循、工具运用、策略规划以及持久记忆等核心能力。

通过Qwen-Agent，开发者能够便捷地开发出功能丰富的Agent应用，同时，项目还提供了浏览器助手、代码解释器、自定义助手等一系列实用的示例应用，帮助开发者快速理解和掌握框架的使用。

此外，Qwen-Agent 提供了全面的API接口，极大地简化了二次开发和系统集成的过程，让开发者能够灵活地扩展和定制自己的应用程序。无论是想要提升现有产品的智能化水平，还是创造全新的智能解决方案，Qwen-Agent 都是一个强大而灵活的开发平台。

二、技术架构

1、组件概览

Qwen-Agent的技术架构由以下几个核心组件构成：

语言模型（LLMs）：提供基础的语言处理能力。工具（Tools）：允许集成和使用各种工具来扩展智能代理的功能。智能代理（Agents）：结合了LLMs和Tools，实现具体的应用逻辑。

2、模型服务接入

Qwen-Agent支持接入阿里云DashScope服务提供的Qwen模型服务，也支持通过OpenAI API方式接入开源的Qwen模型服务。这种灵活性使得开发者可以根据项目需求选择合适的模型服务。

三、功能特点

1、指令解析与执行

Qwen-Agent的智能代理能够理解并执行用户的指令，这使得它们能够在多种场景下提供帮助，如自动化任务执行、信息检索等。

2、工具集成与自动化

通过工具集成，Qwen-Agent的智能代理可以自动化执行复杂的任务。这些工具可以是内置的，也可以是开发者根据特定需求自定义的。

3、任务规划与记忆

Qwen-Agent的智能代理具备任务规划能力，能够根据用户的需求制定和执行计划。同时，它们还具备记忆功能，能够保持对话的连贯性，提供更加自然和人性化的交互体验。

4、多模态交互

Qwen-Agent支持多模态交互，结合图像、语音等多种模态进行交互，这为开发更加丰富和直观的智能代理应用提供了可能。

四、Qwen-Agent安装部署

Qwen-Agent 的安装部署过程十分关键，以下是详细的步骤和一些实用技巧，帮助您快速上手：

使用国内镜像源安装（推荐国内用户）：

为了加快下载速度，您可以使用国内镜像源进行安装，例如使用阿里云的镜像源：

<code>pip install -i https://mirrors.aliyun.com/pypi qwen-agent

使用 pip 安装：

如果您不在国内，或者希望使用默认源进行安装，可以使用以下命令：

pip install -U qwen-agent

从 GitHub 安装最新版本：

如果您希望获取最新的开发版本，可以通过克隆GitHub仓库来安装：

git clone https://github.com/QwenLM/Qwen-Agent.git

cd Qwen-Agent

pip install -e ./

安装可选依赖（如果需要内置 GUI 支持）：

如果您的应用程序需要图形用户界面支持，可以安装以下可选依赖：

pip install -U qwen-agent[gui]

五、Qwen-Agent开发实践

Qwen-Agent框架提供了大模型（LLM，继承自class BaseChatModel，并提供了Function Calling功能）和工具（Tool，继承自class BaseTool）等原子组件，也提供了智能体（Agent）等高级抽象组件（继承自class Agent）。

以下示例说明了创建一个能够读取 Word/PDF 文件和使用工具的代理的过程，以及如何整合自定义工具：

导入依赖库

import pprint

import urllib.parse

import json5

from qwen_agent.agents import Assistant

from qwen_agent.tools.base import BaseTool, register_tool

第1步（可选）：定义工具函数

添加一个名为my_image_gen的自定义工具。

@register_tool('my_image_gen')

class MyImageGen(BaseTool):

# `description`告诉代理这个工具的功能。

description = 'AI绘画（图像生成）服务，输入文本描述，并返回基于文本信息绘制的图像URL。'

# `parameters`告诉代理工具有哪些输入参数。

parameters = [{

'name': 'prompt',

'type': 'string',

'description': '所需图像内容的详细描述，用中文',

'required': True

}]

def call(self, params: str, **kwargs) -> str:

# `params`是由LLM代理生成的参数。

prompt = json5.loads(params)['prompt']

prompt = urllib.parse.quote(prompt)

return json5.dumps(

{ 'image_url': f'https://image.pollinations.ai/prompt/{ prompt}'},

ensure_ascii=False)

第2步：定义LLM

配置你正在使用的LLM

您可以选择使用阿里云的 DashScope 提供的模型服务，或者使用开源的 Qwen 模型部署和使用自己本地部署的模型服务。

如果您选择使用 DashScope 提供的模型服务，需要先到阿里云注册获取唯一的 DashScope API 密钥。

llm_cfg = {

# 使用阿里云上DashScope提供模型服务（需要提前注册开通）

'model': 'qwen-max',

'model_server': 'dashscope',

'api_key': 'YOUR_DASHSCOPE_API_KEY',

# 如果这里没有设置'api_key'，它将使用环境变量`DASHSCOPE_API_KEY`。

# 使用与OpenAI API兼容的模型服务，例如vLLM或Ollama：

# 'model': 'Qwen2-7B-Instruct',

# 'model_server': 'http://localhost:8000/v1', # api_base

# 'api_key': 'EMPTY',

# （可选）生成的LLM超参数：

'generate_cfg': {

'top_p': 0.8

}

}

第3步：创建一个代理。

这里我们使用Assistant代理作为示例，它能够使用工具和读取文件。

system_instruction = '''你是一个乐于助人的助手。

收到用户的请求后，你应该：

- 首先绘制一张图像并获取图像URL，

- 然后运行代码`request.get(image_url)`来下载图像，

- 最后从给定的文档中选择一个图像操作来处理图像。

请使用`plt.show()`显示图像。'''

tools = ['my_image_gen', 'code_interpreter'] # `code_interpreter`是内置的代码执行工具。

#files = ['doc.pdf'] # 给机器人一个PDF文件来读取。

files = ['showImage.docx'] # 给机器人一个PDF文件来读取。

bot = Assistant(llm=llm_cfg,

system_message=system_instruction,

function_list=tools,

files=files)

第4步：定义多轮对话机器人

将代理作为聊天机器人运行。

messages = [] # 这存储聊天记录。

while True:

# 例如，输入查询"画一只狗并将其旋转90度"。

query = input('用户查询：')

# 将用户查询添加到聊天记录中。

messages.append({ 'role': 'user', 'content': query})

response = []

for response in bot.run(messages=messages):

# 流式输出。

print('机器人响应：')

pprint.pprint(response, indent=2)

# 将机器人响应添加到聊天记录中。

messages.extend(response)

输入：一只东北虎

输出：

<code>2024-07-02 10:13:31,961 - split_query.py - 82 - INFO - Extracted info from query: { "information": ["一只东北虎

2024-07-02 10:13:33,892 - memory.py - 113 - INFO - { "keywords_zh": ["东北虎", "一只"], "keywords_en": ["Siberian tiger", "one"], "text": "一只东北虎"}

2024-07-02 10:13:33,893 - simple_doc_parser.py - 326 - INFO - Start parsing showImage.docx...

2024-07-02 10:13:33,933 - simple_doc_parser.py - 365 - INFO - Finished parsing showImage.docx. Time spent: 0.03966975212097168 seconds.

2024-07-02 10:13:33,934 - doc_parser.py - 114 - INFO - Start chunking showImage.docx (showImage.docx)...

2024-07-02 10:13:33,934 - doc_parser.py - 132 - INFO - Finished chunking showImage.docx (showImage.docx). Time spent: 5.602836608886719e-05 seconds.

2024-07-02 10:13:33,935 - base_search.py - 55 - INFO - all tokens: 222

2024-07-02 10:13:33,936 - base_search.py - 58 - INFO - use full ref

机器人响应：

[ { 'content': '',

'function_call': { 'arguments': '', 'name': 'my_image_gen'},

'role': 'assistant'}]

机器人响应：

[ { 'content': '',

'function_call': { 'arguments': '{"prompt":"一只', 'name': 'my_image_gen'},

'role': 'assistant'}]

机器人响应：

[ { 'content': '',

'function_call': { 'arguments': '{"prompt":"一只东北虎"}',

'name': 'my_image_gen'},

'role': 'assistant'}]

机器人响应：

[ { 'content': '',

'function_call': { 'arguments': '{"prompt":"一只东北虎"}',

'name': 'my_image_gen'},

'role': 'assistant'},

{ 'content': '{image_url: '

'"https://image.pollinations.ai/prompt/%E4%B8%80%E5%8F%AA%E4%B8%9C%E5%8C%97%E8%99%8E"}',

'name': 'my_image_gen',

'role': 'function'}]

机器人响应：

[ { 'content': '',

'function_call': { 'arguments': '{"prompt":"一只东北虎"}',

'name': 'my_image_gen'},

'role': 'assistant'},

{ 'content': '{image_url: '

'"https://image.pollinations.ai/prompt/%E4%B8%80%E5%8F%AA%E4%B8%9C%E5%8C%97%E8%99%8E"}',

'name': 'my_image_gen',

'role': 'function'},

{ 'content': '',

'function_call': { 'arguments': '', 'name': 'code_inter'},

'role': 'assistant'}]

。。。。。。

机器人响应：

[ { 'content': '',

'function_call': { 'arguments': '{"prompt":"一只东北虎"}',

'name': 'my_image_gen'},

'role': 'assistant'},

{ 'content': '{image_url: '

'"https://image.pollinations.ai/prompt/%E4%B8%80%E5%8F%AA%E4%B8%9C%E5%8C%97%E8%99%8E"}',

'name': 'my_image_gen',

'role': 'function'},

{ 'content': '',

'function_call': { 'arguments': '```py\n'

'import requests\n'

'from PIL import Image\n'

'import matplotlib.pyplot as plt\n'

'import io\n'

'\n'

'# 获取图像URL\n'

'image_url = '

'"https://image.pollinations.ai/prompt/%E4%B8%80%E5%8F%AA%E4%B8%9C%E5%8C%97%E8%99%8E"\n'

'\n'

'# 发送 GET 请求下载图片\n'

'response = requests.get(image_url)\n'

'\n'

'# 确保请求成功\n'

'if response.status_code == 200:\n'

' # 使用 BytesIO 来创建一个可读的字节流\n'

' image_stream = '

'io.BytesIO(response.content)\n'

' # 打开图片\n'

' image = Image.open(image_stream)\n'

' # 显示图像\n'

' plt.imshow(image)\n'

" plt.axis('off') # 关闭坐标轴显示\n"

' plt.show()\n'

'else:\n'

' print(f"Failed to download image, '

'status code: {response.status_code}")\n'

'```',

'name': 'code_interpreter'},

'role': 'assistant'},

{ 'content': '![外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传](https://img-home.csdnimg.cn/images/20230724024159.png?origin_url=workspace%2Ftools%2Fcode_interpreter%2F99b8207e-1423-4c22-b585-113ef1c2cb5e.png&pos_id=img-BMXKXQcL-1720859899082)',

'name': 'code_interpreter',

'role': 'function'},

{ 'content': '上图是一只东北虎的', 'role': 'assistant'}]

机器人响应：

[ { 'content': '',

'function_call': { 'arguments': '{"prompt":"一只东北虎"}',

'name': 'my_image_gen'},

'role': 'assistant'},

{ 'content': '{image_url: '

'"https://image.pollinations.ai/prompt/%E4%B8%80%E5%8F%AA%E4%B8%9C%E5%8C%97%E8%99%8E"}',

'name': 'my_image_gen',

'role': 'function'},

{ 'content': '',

'function_call': { 'arguments': '```py\n'

'import requests\n'

'from PIL import Image\n'

'import matplotlib.pyplot as plt\n'

'import io\n'

'\n'

'# 获取图像URL\n'

'image_url = '

'"https://image.pollinations.ai/prompt/%E4%B8%80%E5%8F%AA%E4%B8%9C%E5%8C%97%E8%99%8E"\n'

'\n'

'# 发送 GET 请求下载图片\n'

'response = requests.get(image_url)\n'

'\n'

'# 确保请求成功\n'

'if response.status_code == 200:\n'

' # 使用 BytesIO 来创建一个可读的字节流\n'

' image_stream = '

'io.BytesIO(response.content)\n'

' # 打开图片\n'

' image = Image.open(image_stream)\n'

' # 显示图像\n'

' plt.imshow(image)\n'

" plt.axis('off') # 关闭坐标轴显示\n"

' plt.show()\n'

'else:\n'

' print(f"Failed to download image, '

'status code: {response.status_code}")\n'

'```',

'name': 'code_interpreter'},

'role': 'assistant'},

{ 'content': '![外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传](https://img-home.csdnimg.cn/images/20230724024159.png?origin_url=workspace%2Ftools%2Fcode_interpreter%2F99b8207e-1423-4c22-b585-113ef1c2cb5e.png&pos_id=img-863IbiaX-1720859899085)',

'name': 'code_interpreter',

'role': 'function'},

{ 'content': '上图是一只东北虎的图像。', 'role': 'assistant'}]

可以看到图片已经成功保存到本地：workspace/tools/code_interpreter/99b8207e-1423-4c22-b585-113ef1c2cb5e.png

结语

Qwen-Agent作为基于Qwen模型的LLM应用开发框架，不仅提供了强大的技术支撑，还通过其易用性和灵活性，极大地促进了智能代理技术的发展和应用。本文的介绍旨在帮助大家深入理解Qwen-Agent，并激发更多的创新应用。

参考引用

Qwen-Agent 官方文档：Qwen-Agent DocumentationQwen-Agent GitHub 仓库：QwenLM/Qwen-Agent

🎯🔖更多专栏系列文章：AI大模型提示工程完全指南、AI大模型探索之路（零基础入门）、AI大模型预训练微调进阶、AI大模型开源精选实践、AI大模型RAG应用探索实践🔥🔥🔥 其他专栏可以查看博客主页📑

😎 作者介绍：我是寻道AI小兵，资深程序老猿，从业10年+、互联网系统架构师，目前专注于AIGC的探索。

📖 技术交流：欢迎关注【小兵的AI视界】公众号或扫描下方👇二维码，加入技术交流群，开启编程探索之旅。

💘精心准备📚500本编程经典书籍、💎AI专业教程，以及高效AI工具。等你加入，与我们一同成长，共铸辉煌未来。

如果文章内容对您有所触动，别忘了点赞、⭐关注，收藏！加入我，让我们携手同行AI的探索之旅，一起开启智能时代的大门！