本文介绍了LLM在落地应用中的不足，并引入了RAG框架和原理，以及RAG在私有知识库建设中的重要作用。并以Ollama和AnythingLLM为实现手段，构建了并测试了本地知识库，测试结果表明，有了RAG的加持，...

浏览 70 次 标签： 基于Ollama+AnythingLLM搭建本地私有知识库系统   

一开始排查是以为transformers的版本不对，先确定了transformers的版本，transformers的版本应该大于4.35.0。把transformers升级为4.35.0后仍然报错。最后发现是c...

浏览 60 次 标签： text-generation-webui加载codellama报错DLL load failed while importing flash_attn_2_cuda: 找不到指定的模块。   

现在开源大模型一个接一个的，而且各个都说自己的性能非常厉害，但是对于我们这些使用者，用起来就比较尴尬了。因为一个模型一个调用的方式，先得下载模型，下完模型，写加载代码，麻烦得很。对于程序的规范来说，只要东西一多，...

浏览 83 次 标签： Ollama管理本地开源大模型    用Open WebUI访问Ollama接口   

Ollama支持在Modelfile中导入GGUF模型:创建一个名为Modelfile的文件,使用带有要导入的模型的本地文件路径的“FROM”指令。在Ollama里创建模型运行模型从Ollama库下载的大模型...

浏览 77 次 标签： 本地部署AI大模型 —— Ollama文档中文翻译   

【ollama】linux、window系统更改模型存放位置，全网首发2024！_ollama设置模型位置...

浏览 69 次 标签： 【ollama】linux、window系统更改模型存放位置    全网首发2024！   

内存：32G硬盘：512GSSD显卡：NVIDIAGeForceGTX10606GB内网IP:192.168.1.21。_ubuntu安装ollama...

浏览 88 次 标签： Ubuntu系统下部署大语言模型：Ollama和OpenWebUI实现各大模型的人工智能自由   

LLaMA-Factory是github上的一个开源项目，可以通过web界面，可视化地轻松微调大模型。支持微调上几百大模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemm...

浏览 72 次 标签： 007-Wsl-Ubuntu上LLaMA-Factory如何下载、部署、运行【AI超车B计划】   

安装完成后可以在cmd命令提示符窗口中输入ollama-v查看是否安装好。输入ollamarunllama3可以直接下载llama3大模型并运行进行对话，默认是llama3:latest版本，8b的一个版本...

浏览 97 次 标签： windows环境(非docker)中利用Ollama和open webui部署运行大模型   

如果需要，可以使用AnythingLLM的开发者API进行自定义集成，以满足特定的业务需求。_open-webui自定义知识库...

浏览 77 次 标签： 【大模型】Ollama+open-webui/Anything LLM部署本地大模型构建RAG个人知识库教程（Mac）   

本文介绍了大规模语言模型的相关概念，并介绍了使用开源工具Ollama部署LLaMa3大模型、使用OpenWebUI搭建前端Web交互界面的方法和流程。_linux安装ollama+openui...

浏览 73 次 标签： Linux快速部署大语言模型LLaMa3    Web可视化j交互（Ollama+Open Web UI）