系列篇章💥

目录

系列篇章💥引言一、概述二、问题测试1、工具函数信息生成2、模型调用测试函数3、定义两个工具函数4、模型调用测试15、模型调用测试26、模型调用测试3

三、解决方案1、尽最大能力提供高质量的Json schema1）测试样例2）调用测试

2、干预模型选择1）定义一个新模型调用函数2）定义2个测试用的工具函数3）定义函数列表4）函数调用测试15）函数调用测试2

四、问题测试1、定义几个加减乘除的方法2、定义函数列表3、定义模型调用函数4、函数调用测试5、定义模型调用函数6、函数调用测试

五、优化调整1、定义模型调用函数2、计算测试3、函数调用测试

结语

引言

在人工智能领域，Function Call（函数调用）是实现智能系统功能的关键技术之一。然而，在实际应用中，Function Call面临着诸多挑战，尤其是意图识别问题。本文将深入探讨这些挑战，并提供相应的解决方案。

一、概述

Function Call的意图识别是指系统如何准确理解用户的指令，并调用正确的函数来完成用户的需求。这一过程涉及到多个层面的问题，包括但不限于：

1、判断调用需求：系统需要判断何时需要调用外部函数，何时可以独立完成。

2、函数选择：面对众多相似名称的函数，系统如何避免混淆并选择正确的函数。

3、结果整合：即使调用了正确的函数并获得了结果，系统也需要能够将这些结果有效整合，以提供完整的信息。

二、问题测试

1、工具函数信息生成

auto_functions是一个自动帮我们生成tools工具描述的方法

<code>import inspect

import json

import pandas as pd

from typing import List, Callable

def auto_functions(func_list: List[Callable]) -> List[dict]:

tools_description = []

for func in func_list:

# 获取函数的签名信息

sig = inspect.signature(func)

func_params = sig.parameters

# 函数的参数描述

parameters = {

'type': 'object',

'properties': { },

'required': []

}

for param_name, param in func_params.items():

# 添加参数描述和类型

parameters['properties'][param_name] = {

'description': param.annotation.__doc__ if param.annotation is not inspect._empty else "",

'type': str(param.annotation) if param.annotation != param.empty else 'Any'

}

# 如果参数有默认值，那么它不是必须的

if param.default != param.empty:

parameters['required'].append(param_name)

# 函数描述字典

func_dict = {

"type": "function",

"function": {

"name": func.__name__,

"description": func.__doc__.strip(),

"parameters": parameters

}

}

tools_description.append(func_dict)

return tools_description

2、模型调用测试函数

测试大模型是否能够正确找到外部工具函数

## 打印大模型识别到的外部函数的名字

def function_call_test(prompt,tools):

prompt = prompt

message = [

{ "role": "user", "content": prompt}

]

response1 = client.chat.completions.create(

model="glm-4", # 填写需要调用的模型名称code>

messages=message,

tools = tools,

tool_choice = "auto"

)

print(response1.choices[0].message.tool_calls[0].function.name)

3、定义两个工具函数

<code>available_functions

输出：

4、模型调用测试1

<code>prompt = "请问机器学习是什么？"

function_call_test(prompt,tools)

输出：

machine_learning_1

5、模型调用测试2

prompt = "请问深度学习和机器学习的区别是什么？"

function_call_test(prompt,tools)

输出：

machine_learning_2

6、模型调用测试3

prompt = "请问深度学习是什么？"

function_call_test(prompt,tools)

输出：

machine_learning_1

这个时候我们发现大模型调用错了函数，他认为机器学习和深度学习很像，类似的生产业务中也有类似的情况，比如在银行业务中，用户开卡和开信用卡，应该对应的是两个不同的函数。

但是如果类似上面这种，很有可能就是会被当做是同一个业务进行处理了。显然不对。

三、解决方案

1、尽最大能力提供高质量的Json schema

这里的“高质量”是指清晰地描述了函数的功能和参数、易于模型进行辨别、使用简洁且一致的命名约定、保持函数名格式相同、但是尽量不要使用相似或容易混淆的函数名称（比如前面的machine_learning_1和Machine_learning_2就是非常糟糕的例子），函数的description尽量不要使用过于相似的描述等等；

这个过程免不了人工干预，Json schema的质量越高，模型辨别也就越容易。

更具体的手段包括：

1. 使用关键词：从实验结果来看，GLM-4可能很大程度上是基于embedding后的结果的相似程度来选择函数的，prompt中如果出现与函数名称高度一致的语句片段，那个函数就有很大的概率被选中（例如，prompt是“深度学习是什么”，函数名是“机器学习是什么”，即便什么是深度学习这个知识点早就在GLM的知识库内，它还是会被function吸引走），因此对特定函数、特定需求进行“关键词”的设置异常重要，这个关键词可以是一些很奇妙的语言，在正常的对话中绝对不会出现混淆的语言，例如编号，或者特定的专有名词。存在特定的业务是一定要执行某个函数或某个流程的，你可以纯依赖于编程、而不依赖于大模型的理解来走完这个流程。

2. 使用特定词语对函数的作用进行分组和分类：在函数名称或描述中添加分类标记。例如，可以在名称中使用前缀如“user_”、“admin_”或“data_”等，帮助模型快速定位相关类别的函数。

3. 为函数增加权重：为使用更频繁的函数增加primary、prior、core等有助于模型理解其重要性的名称，也可以在进行编号或者函数的描述时写上“非常重要，经常使用，核心业务”等等描述；

4. 使用否定句，帮助模型进一步辨析函数功能等：比如在函数的描述中，明确说明“当出现xxxx语言或prompt时，这个函数不管用，请谨慎考虑选择该函数”等。

1）测试样例

prompt = "我来到你的城市，走过你来时的路，\

轻轻地我走了，正如我轻轻的来。\

你是我的小苹果，小呀小苹果。\

送你一朵小红花"

def 送你一朵小红花():

"""如函数名"""

a = 1314520

return a

def 我只是在唱歌():

"""如函数名"""

a = 1314520

return a

# 函数列表

functions_list2 = [送你一朵小红花,我只是在唱歌]

# 获取函数描述的 JSON 字典

tools2 = auto_functions(functions_list2)

# 将函数列表转换为字典

available_functions2 = { func.__name__: func for func in functions_list2}

2）调用测试

function_call_test(prompt,tools2)

输出：

送你一朵小红花

2、干预模型选择

通过改变function call交互的流程、改变模型的选择；包括但不限于

1.使用自查prompts进行干预：例如，在用户进行具体的提问时，使用“xxx是否在你的资料库内”prompt进行优先筛查，人为为模型增加一个“你是否知道xxx流程”的过程，可以避免模型在判断就是否需要调用函数时混淆。但需要注意的是，因为大模型会有幻觉现象，因此你的prompt要相当考究。如果你问模型“你是否知道xxx”，模型很大程度上会说谎。

2.依赖匹配好于依赖理解：例如，准备某个业务下的关键词库，只要用户在提到这些关键词时，就指定tool_choice参数让GLM-4进行特定的函数的调用，或者在用户提到某些关键词时，就推荐模型使用某个特定的函数进行调用；一个典型的场景可以是，在餐厅场景中，用户说“我要点餐”、“我要吃饭”、“我要下单”、“我要xxx”、甚至“服务员过来一下”的语音都可能都是指向“点餐”的需求，可以先经过编程流程匹配，再交由模型进行理解。这个过程会让模型识别的精准程度大幅上升。

代码测试样例

1）定义一个新模型调用函数

#在选择进行功能选择前，让模型先判断被提到的问题是否在它的资料库中

def function_call_new(prompt,tools):

prompt = prompt

judge_words = "这个问题的答案是否在你的语料库里？\

请回答“这个问题答案在我的语料库里”或者“这个问题的答案不在我的语料库里”\

不要回答其他额外的文字"

message = [

{ "role": "user", "content": prompt + judge_words}

]

response1 = client.chat.completions.create(

model="glm-4", # 填写需要调用的模型名称code>

messages=message

)

if "这个问题答案在我的语料库里" in response1.choices[0].message.content:

message = [

{ "role": "user", "content": prompt}

]

response2 = client.chat.completions.create(

model="glm-4", # 填写需要调用的模型名称code>

messages=message,

)

print(response2.choices[0].message.content)

else:

message = [

{ "role": "user", "content": prompt}

]

response2 = client.chat.completions.create(

model="glm-4", # 填写需要调用的模型名称code>

messages=message,

tools = tools,

tool_choice = "auto"

)

print(response2.choices[0].message.tool_calls[0].function.name)

2）定义2个测试用的工具函数