在深度学习的不断进步中，大型语言模型（LLMs）的预训练和微调技术成为了研究的热点。其中，量化技术以其在模型压缩和加速方面的潜力备受关注。本文将深入探讨QLoRA（QuantizedLow-RankAdap...
本文首先对量化和微调的原理进行剖析，接着以Qwen2-7B为例，基于QLoRA、PEFT一步一步带着大家微调自己的大模型，本文参考全网peft+qlora微调教程，一步一排坑，让大家在网络环境不允许的情况下，也...
基于LoRA进行模型微调时，需要先冻结全部参数，再指定相应的Linear层进行微调，那么如何计算全部参数，如何计算微调参数以及如何计算微调参数占全部参数的比例呢？本文先对Qwen2模型结构进行一览，做到心中有数，之...
随着人工智能技术的迅猛发展，各种大模型产品不断涌现。无论是设计师、程序员、美术摄影师，还是金融领域，教育培训，生活服务和医疗保障的从业者，都面临着如何选择适合自己需求的AI工具的挑战。本文将从多个领域的角度出发，...
总结来说，大模型和Agent都属于实现人工智能的一种技术实现方式；AI是一个人，那么大模型就是这个人的大脑，Agent就是大脑指挥做事的工具集。_为什么需要aiagent...
在科技日新月异的今天，人工智能（AI）已不再是遥不可及的未来科技，而是逐渐融入我们日常生活的实用工具。从智能语音助手到自动驾驶汽车，从智能家居系统到精准医疗诊断，AI技术正以其强大的计算能力和数据分析能力，改变着我们...
现在开源大模型一个接一个的，而且各个都说自己的性能非常厉害，但是对于我们这些使用者，用起来就比较尴尬了。因为一个模型一个调用的方式，先得下载模型，下完模型，写加载代码，麻烦得很。对于程序的规范来说，只要东西一多，...
Ollama支持在Modelfile中导入GGUF模型:创建一个名为Modelfile的文件,使用带有要导入的模型的本地文件路径的“FROM”指令。在Ollama里创建模型运行模型从Ollama库下载的大模型...
1.背景介绍知识图谱(KnowledgeGraph,KG)是一种以实体(Entity)和关系(Relation)为核心的数据结构，用于表示实际世界的知识。知识图谱的应用范围广泛，包括信息检索、问答系统、推荐系...
2023年是人工智能大语言模型大爆发的一年，一些概念和英文缩写也在这一年里集中出现，很容易混淆，甚至把人搞懵。LLM：LargeLanguageModel，即大语言模型，旨在理解和生成人类语言。LLM的特点是...