基于Mindformers+mindspore框架在昇腾910上进行qwen-7b-chat的8卡lora微调主要参考文档：https://gitee.com/mindspore/mindformers/tree/r1.0/research/qwe...
LoRA模型是小型的StableDiffusion模型，它们对checkpoint模型进行微小的调整。它们的体积通常是检查点模型的10到100分之一。因为体积小，效果好，所以lora模型的使用程度比较高。...
目标检测任务已经不是一个新鲜事了，但是多模态大模型作目标检测任务并不多见，本文详细记录swfit微调interVL2-8B多模态大模型进行目标检测的过程，旨在让更多人了解多模态大模型微调技术、共享微调经验。实际上...
大模型领域既是繁星点点的未知宇宙，也是蕴含无数可能的广阔天地，正是这一独特的魅力，令无数的探索者为之倾倒，为之奋斗。随着大模型应用逐渐走入人们的日常生活，支撑它的深度学习技术也开始登上更为广阔和深远的人工智能大...
随着人工智能在自然语言处理(NLP)领域的快速发展，对大规模预训练模型的需求日益增长。这些大型模型不仅需要具备广泛的语言理解能力，还需要能适应各种下游任务需求。传统上，针对特定任务训练的较小模型往往无法达到所需的...
【代码】【笔记】Llama3中文微调，并加载微调后的模型：中文FineTuning数据集介绍、如何使用Ollama和LMstudio本地加载FineTuning后的模型。_error:couldnot...
本人为纯小白，以下为学习过程中的一些笔记，欢迎指正~Datawhale。...
最近对大模型这部分内容比较感兴趣，作者最早接触大模型是22年下半年的时候。当时觉得非常amazing，并认为这是一个颠覆性的工作，目前随着开源大模型的逐渐变多。我觉得我们得学习并了解这些基础知识，以便后续在工作中...
ChatGLM3是智谱AI和清华大学KEG实验室联合发布的对话预训练模型。ChatGLM3-6B是ChatGLM3系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，Chat...
Qwen2]是通义千问团队的开源大语言模型，由阿里云通义实验室研发。以Qwen2作为基座大模型，通过指令微调的方式实现高准确率的文本分类，是学习的入门任务。指令微调是一种通过在由（指令，输出）对组成的数据集上进一步...