新来个技术总监,把AI大模型接入的那叫一个优雅,佩服!
CSDN 2024-08-12 09:01:01 阅读 52
大家好,我是二哥呀。
周一,公司空降一名逼里巴巴的技术总监老王,我很不服气,就给他出了道难题,限时 30 分钟把最新大模型 GLM-4-AllTools 对接进技术派的派聪明 AI 助手里。
结果没想到,他还真的完成了,完成的还挺优雅,让我佩服的五体投地。于是我就根据老王的代码写了一篇大模型MaaS开放平台的接入体验,一起来欣赏下😄,据说把下面这两条项目经历润到简历上,投出去的简历一投一个准。
派聪明 AI 助手通过 WebSocket 实现前后端的及时通信,并且通过异步流的方式实现消息一点一点输出的效果;应用策略模式来支持多家 AI 大模型的灵活对接,目前已经成功集成了智谱 AI AllTools API、讯飞星火 4.0 API 和 GPT 4 API。
好,我们先来看一下效果。
直接问一道比较复杂的问题:“帮我查询2018年至2024年,每年五一假期全国旅游出行数据,并绘制成柱状图展示数据趋势。”
讲真,这道题是有难度的,结果令我没想到的是,不到 20 毫秒,派聪明 AI 助手就给出了答案。
点开链接瞅一眼,这柱状图生成的可以啊,2020 年是最低谷,然后逐步回暖,果然是符合历史背景的。
作为一名严谨的程序员,我稍微查了一下,数据较为可靠(😄)。
牛啊,我只能说。
于是我到智谱AI大模型MaaS开放平台瞅了一眼,果然啊。
Alltools API 能够让我们在应用程序中构架高度专业化的 AI 助手,目前主要的功能有:智能编码助手、安全代码沙盒、实时联网搜索、绘图设计工具、函数调用能力等,未来还会有网页浏览工具、知识库增强检索等。
看到这,是不是大家就忍不住了,纷纷要问,老王是怎么实现的啊?如果大家也想接入 Alltools API 实现一个智能 AI 助手,那就跟着二哥的教程来吧,五步就能搞定。
第一步,登录智谱AI大模型MaaS开放平台,新用户注册能 500 万的 GLM-4 tokens,适用最新的 glm-4-0520 和 glm-4-alltools 模型推理。
https://bigmodel.cn/
第二步,获取 API keys,每家大模型都需要哦。
第三步,拉取技术派在 GitHub 上的最新源码,智谱 AI 的对接主要在 paicoding-core 这个 module 下。
https://github.com/itwanger/paicoding
注意,Maas 平台已经帮我们对智谱 AI 大模型做了高度封装,Maven 项目可以直接在 pom.xml 文件中引入以下依赖就可以调用 API 接口了。
<dependency>
<groupId>cn.bigmodel.openapi</groupId>
<artifactId>oapi-java-sdk</artifactId>
<version>release-V4-2.1.0</version>
</dependency>
在技术派中,老王还通过设计模式对各个大模型进行了灵活配置,大家可以在 getRecommendAiSource 这个方法中添加其他大模型进来。
第四步,在 application.yaml 中配置智谱 AI 的 API keys,模型为glm-4-alltools。
第五步,启动 main 主类在浏览器里中打开 http://127.0.0.1/chat
就可以访问智谱 AI 了。
我这里多讲几句 AllTools API 对接的核心代码,在 ZhipuIntegration 这个类下面。
实现起来其实不难,首先是发起请求,主要封装在 ChatCompletionRequest 这个类中,然后是拿到响应信息后流式返回给客户端,主要是处理 ModelApiResponse 这个类。
目前 AllTools 仅支持流式 SSE 输出,也就是大家看到的消息一点一点在对话框中显示的效果,后台打印的信息其实是这样的,也是一点一点的从智谱 AI 那里得到响应。
用流程图来展示,其实是下面这样的,智谱 AI 会先联网查询,然后将数据汇总,并且根据数据绘制柱状图,生成图片后返回返回响应结果。
AllTools API 也是智谱 AI 最新推出的面向开发者的 API 服务,集成了调用工具的能力,并且能够自主使用多种工具组合和多轮对话来提供大模型服务。
新模型的推理能力也非常的强,支持的上下文环境也更长了,相比 ChatGLM3-6B 提升了 40%。
关键对接起来也非常的方便,仅需要四步就完成了。技术派的前后端通信采用的是 WebSocket 这种形式,能够比较实时地将智谱 AI 的数据返回给用户,自我感觉实现还是非常优雅的。
好,回到技术的本质,让智谱 AI 用 Python 画一个爱心:
挺聪明的的样子哈😄,最后,再让智谱 AI 来一道逻辑推理题:学校食堂运来19吨煤,已经烧了16吨,平均每天烧0.4吨,剩下的煤每天烧0.3吨,还要几天烧完?给出求解步骤。
你别说,推理的还挺不错,我掐指一算,答案没错呢。
另外,我需要提一句的是,智谱 AI 也非常注重开源的力量,ChatGLM-6B 于 2023年3月14日开源,目前在GitHub上收获了 40k+ star。
最新的 GLM-4-9B-Chat 模型也有 3.8k 的 star 了,新版本的开源模型也将依赖的 transformers 版本升级到 4.42.4。
大家不仅可以在本地尝试对接 AllTools API,也用 GLM-4-9B-Chat 来搭建属于自己的小模型哦。
官方文档:https://open.bigmodel.cn/dev/howuse/glm4alltools
最后,如果大家在对接 GLM-4-AllTools 的过程中遇到接不了的难题,也可以联系二哥哦,二哥不会的话,还可以找逼里巴巴的技术总监老王。😊
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。