杨亦诚

Qwen2是阿里巴巴集团Qwen团队研发的大语言模型和大型多模态模型系列。Qwen2具备自然语言理解、文本生成、视觉理解、音频理解、工具使用、角色扮演、作为AI Agent进行互动等多种能力。

图：智能体中工具使用执行逻辑

Qwen-Agent是一个AI智能体的开发框架。开发者可基于本框架开发Agent应用，充分利用基于通义千问模型（Qwen）的指令遵循、工具使用、规划、记忆能力。同时该框架也提供了浏览器助手、代码解释器、自定义助手等示例应用。近期OpenVINOTM工具套件也作为Qwen-Agent的大语言模型推理后端，被集成到llm组件中，接下来就让我们一起看下如何在Intel硬件平台上通过OpenVINOTM和Qwen2构建一个纯本地运行的AI智能体。

转化压缩Qwen2模型

第一步我们需要安装Optimum-intel组件，以此来导出并量化原始的Qwen2模型，使用方法可以参考以下示例。

<code>pip install optimum[openvino]

optimum-cli export openvino --model Qwen/Qwen2-7B-Instruct--task text-generation-with-past --trust-remote-code --weight-format int4 {model_path}

构建工具

Qwen-Agent提供了注册工具的机制，例如，下面我们注册一个自己的图片生成工具：

指定工具的name、description、和parameters，注意@register_tool('my_image_gen')中的'my_image_gen'会被自动添加为这个类的.name属性，将作为工具的唯一标识。实现call(...)函数

在这个例子中，我们定义了一个调用云端API工具，用来根据输入请求，生成图片。

@register_tool("image_generation")

class ImageGeneration(BaseTool):

    description = "AI painting (image generation) service, input text description, and return the image URL drawn based on text information."

    parameters = [{"name": "prompt", "type": "string", "description": "Detailed description of the desired image content, in English", "required": True}]

    def call(self, params: str, **kwargs) -> str:

        prompt = json5.loads(params)["prompt"]

        prompt = urllib.parse.quote(prompt)

        return json5.dumps({"image_url": f"https://image.pollinations.ai/prompt/{prompt}"}, ensure_ascii=False)

创建基于OpenVINOTM的AI智能体

Qwen-Agent中的LLM统一使用get_chat_model(cfg: Optional[Dict] = None) -> BaseChatModel接口来调用，参数传入LLM的配置文件，目前OpenVINOTM得LLM 配置文件格式如下：

llm_cfg = {

"ov_model_dir": model_path,

"model_type": "openvino",

"device": device.value,

"ov_config": ov_config,

"generate_cfg": {"top_p": 0.8},

}

其中各类参数的要求为：

ov_model_dir: 在第一步中得到得OpenVINOTM模型路径model_type: 对应某个具体的llm类，这里需要指定为 “openvino”device: Intel设备名称，目前支持”cpu”及“gpu”ov_config: OpenVINO infer request中的可配置项generate_cfg：模型生成时候的参数

Qwen-Agent框架为我们提供了自带的智能体实现（如class Assistant），开发者可以直接将定义好的OpenVINOTM LLM配置文件传入该对象中，快速构建智能体应用，为此Qwen-Agent也提供了丰富的[代码示例]( Qwen-Agent/examples at main · QwenLM/Qwen-Agent · GitHub)

bot = Assistant(llm=llm_cfg, function_list=tools, name="OpenVINO Agent")code>

完整示例和实现效果