Qwen2.5系列模型在GenStudio开源
无问芯穹 2024-10-25 16:01:07 阅读 57
9月19日,通义千问宣布新一代模型Qwen2.5系列开源。无问芯穹Infini-AI异构云平台GenStudio目前已上架Qwen2.5-7B/14B/32B/72B,可轻松调用模型API。快来GenStudio,加入这场Qwen2.5基础模型大派对!
GenStudio 模型体验地址:
cloud.infini-ai.com/genstudio/model
此次Qwen2.5开源了7个尺寸,各个型号设定考虑了下游场景的不同需求。尽管7B的非嵌入参数少,但在多个基准测试中都超越了它的前代和同类竞争者;14B、32B则被我们社区中的开发者认为性价比较高,可在性能和功耗之间获得较好的平衡;72B是Qwen2.5系列的旗舰模型,可以用于工业级以及科研级等复杂场景。我们认为这些型号具备较大的未来应用潜力,现将模型上架提供给开发者们使用。
在GenStudio上体验Qwen2.5-72B
用GenStudio打造个人AI助理(Qwen2.5版)
GenStudio还支持多种大模型趣味DIY玩法。下面以一款免费的桌面端AI助手“Chatbox AI”为例,来看看个人用户如何利用GenStudio上的模型API调用功能,用Qwen2.5打造个人AI助理。
首先,登陆无问芯穹Infini-AI异构云平台https://cloud.infini-ai.com/,注册成为GenStudio用户,轻松获取目标模型API密钥。
接着,您可以访问第三方工具例如Chatbox AI (https://chatboxai.app/) 下载并安装客户端,它支持Windows、Mac(Intel或Apple Silicon)、Linux、安卓和iOS全平台,您可以根据自身的硬件型号选择适合的版本。
现在,我们可以着手配置个人AI助理了!这里我们以配置Qwen2.5 模型为例展示操作过程。点击“设置”,在模型提供方选择“添加自定义提供方”,并按照下面的内容填写表单。
• API模式:OpenAI API兼容
• 名称:infini-qwen2.5 (此处仅做示意,名称可自定义)
• API域名:https://cloud.infini-ai.com/maas
• API路径:/qwen2.5-72b-instruct/nvidia/chat/completions
• API密钥:使用从 Infini-AI异构云平台GenStudio 中复制的密钥
• 模型:qwen2.5-72b-instruct
保存之后,点击左侧“新对话”,就可以开始使用啦,快来体验试试👐🏻!
Qwen2.5模型支持高达128K的上下文长度,可生成最多8K内容,支持超29种语言,包括中文、英语、法语、西班牙语、葡萄牙语、德语、意大利语等。此外,Qwen2.5全系列模型都在18T tokens数据上进行预训练,相比Qwen2,整体性能提升18%以上,拥有更多的知识、更强的编程和数学能力。
以Qwen2.5-72B为例,它在MMLU-rudex基准(考察通用知识)、MBPP 基准(考察代码能力)和MATH基准(考察数学能力)的得分高达86.8、88.2、83.1。
Qwen2.5系列测试基准表现
关于GenStudio大模型服务平台
GenStudio内置于无问芯穹Infini-AI异构云平台,现已上架包括Qwen2.5-7B/14B/32B/72B、CogVideoX-2B、Llama 3.1-70B、Qwen2-72B、GLM4 9B、Stable Diffusion在内的多种大语言模型、文生图及文生视频模型。GenStudio针对生成式大模型的应用落地的多种场景需求,为应用开发者提供高性能、易上手、安全可靠的大模型服务,覆盖从大模型开发到大模型服务化部署的全流程。
cloud.infini-ai.com
使用GenStudio时,大模型应用开发团队无需关注机器、开发环境等大模型开发要素,可以直接在这个平台上体验、对比各种模型能力和芯片效果,通过简单拖拽各种参数按钮的动作,精调出更贴合业务的大模型并完成部署,最快三天就可开发一个大模型应用。GenStudio帮助各个团队效降低技术负担、简化开发流程、提高调试效率。
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。