让AI转化为生产力,Dify 私有化部署 + 接入Ollama部署本地模型。
少喝冰美式 2024-09-02 13:01:01 阅读 79
工欲善其事,必先利其器。AI 是未来十年生产力的核心工具,要让 AI 真正转化为生产力,而不仅仅是围观一时的热潮。如果你对 AI 也很感兴趣,欢迎关注,共同探索 AI 的无限可能,与渔夫一起成长!
今天聊聊AI智能体,同时也简单的将 Dify 本地私有化部署,接入 Ollama 部署的本地模型。
AI智能体是什么?
AI智能体是一种具备AI能力、感知、推理、决策和行动能力的计算系统,它能够自主与环境交互,完成特定任务。
能够通过感知环境获取信息,分析并做出决策,然后执行相应的行动,有时还能通过学习不断优化自己的行为,尽可能达到预期结果。
Dify 是什么?
Dify 它是一个开源 LLM 应用开发平台。拥有直观的界面结合了 AI 工作流、RAG 管道、代理功能、模型管理、可观察性功能等,让您可以快速从原型开发到生产。
Dify 工作流
开始学习之前,我们一定要很清楚知道什么是工作流?
上面这张图,就是一个工作流,里面的每一个框框就是一个小的节点,节点与节点之间的连接就是数据的流向。
(1)Dify官方释义 工作流是通过将复杂的任务分解成较小的步骤(节点)降低系统复杂度,减少了对提示词技术和模型推理能力的依赖,提高了 LLM 应用面向复杂任务的性能,提升了系统的可解释性、稳定性和容错性。
工作流优缺点:
优点:把目标场景的任务分解成多个节点,每个节点完成一个任务,然后通过数据流连接起来,其确保逻辑清晰易懂,提升了结果的准确性。
缺点:对于复杂场景时,配置工作流也是非常耗费大量时间,设计过程相对比较复杂,需要开发者对业务流程和各类工作流节点的熟悉,否则很难设计出好的工作流。
(2)通俗释义 举例:假设我们要为家人准备一顿晚餐,整个过程可以看作一个复杂的任务。为了完成这个任务,我们可以将其分解成多个步骤(节点),并通过每个步骤之间的连接(数据流)来完成整个晚餐的准备工作。
节点和数据流:
确定菜单 → 检查食材 → 去超市购物 → 准备食材 → 烹饪 → 摆盘和上桌 → 清理厨房 → 干净整洁的厨房。
可以看出,工作流就是为了完成某个目标,所拆解的一系列步骤,最后把这些步骤组合起来形成的一种流式结构。
优缺点:
优点:通过将复杂的晚餐准备过程分解为多个步骤,整个流程变得更加清晰易懂,每个步骤都有明确的任务,确保了晚餐的成功准备。
缺点:如果准备的晚餐非常复杂,比如有很多道菜和不同的烹饪方法,那么配置这个工作流可能会非常耗时。设计好每个步骤需要对烹饪流程和食材准备非常熟悉,否则很难完成所有工作。
工作流应用场景
(1)释放生产力
(2)商业服务
Dify 部署方式
Dify官网提供2种部署方式:Docker compose 和 本地源码启动。
(1)Docker compose 方式
你需要安装 docker ,如果还没不知道如何安装可以参考官网安装文档。
系统要求,看看自己的配置情况:
1.1 克隆 dify 代码仓库,小白确保你本地电脑已经安装了 git 命令。
git clone github.com/langgenius/… 1.2 启动 dify
cd dify/docker
cp .env.example .env
docker compose up -d
等待镜像下载
1.3 部署结果:
常见问题:无法拉取镜像,解决方案:
1)挂个全局代理试试 2)更换镜像 如果问题无法解决的,可以进裙交流。 1.4 最后检查是否所有容器都正常运行:
docker compose ps
1.5 更新 Dify
进入 dify 源代码的 docker 目录,按顺序执行以下命令:
cd dify/docker
docker compose down
git pull origin main
docker compose pull
docker compose up -d
在浏览器中输入 http://localhost 访问 Dify,点击设置管理员,邮箱密码就可以。
然后登录即可了
(2)源码启动
可参考官网启动手册:docs.dify.ai/v/zh-hans/g…
在 Dify 中接入 Ollama 下载 Ollama 访问 ollama.ai/download,下载… Ollama 客户端。 运行 Ollama 并与 Llava 聊天
ollama run llava # 或 ollama run llama3.1
启动成功后,ollama 在本地 11434 端口启动了一个 API 服务,可通过 http://localhost:11434 访问。
其他模型可访问 Ollama Models 了解详情。
在 设置 > 模型供应商 > Ollama 中填入:
配置完成后,添加保存,这时它进行调用请求测试。
配置Bash URL地址:host.docker.internal:11434
创建聊天机器人
这次先简单创建一个聊天机器人,作为这篇文章小案例,后续我会分享更多工作流。
第一步:创建聊天机器人
第二步:指定模型
第三步:发布运行该聊天机器人
今天就简单熟悉到这里,Dify提供私有化部署,对于数据保密非常高的行业是非常友好,而且功能非常丰富。如果你所在行业公司有需要,建议在生产上使用k8s来部署Dify,它也依赖很多中间件,也可以外接存储等。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
大模型 AI 能干什么?大模型是怎样获得「智能」的?用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例:向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示(Embeddings)向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
为什么要做 RAG什么是模型什么是模型训练求解器 & 损失函数简介小实验2:手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身:基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例:如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
下一篇: 利用亚马逊AI代码开发助手Amazon Q开发游戏我的世界(下篇)
本文标签
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。