本地部署graphGAG--pip和初始化存在的问题

励志成为美貌才华为一体的女子 2024-08-24 09:31:01 阅读 55

GraphRAG(Graph-based Retrieval-Augmented Generation)是一种结合了知识图谱和图机器学习技术的新型检索增强生成模型。它由微软于2024年7月2日开源,旨在显著提升大型语言模型(LLM)在处理私有数据时的理解和推理能力。

本文记录的操作包括graphragpip install过程报错的处理、graphrag源码下载后的初始化处理。

完整的graphrag的图谱生成流程实现可以查看我这篇文章:GraphRAG+ollama+Lmstudio实操完整详细流程-CSDN博客

 

首先可以看这两个视频明白操作文档中每一步的含义意义以及需要提前部署好的一些内容,但是可能并不能一次操作成功

颠覆传统RAG!GraphRAG结合本地大模型:Gemma 2+Nomic Embed齐上阵,轻松掌握GraphRAG+Chainlit+Ollama技术栈_哔哩哔哩_bilibili

GraphRAG太烧钱?Qwen2-7b本地部署GraphRAG,无需Ollama,从环境搭建到报错解决全流程_哔哩哔哩_bilibili Welcome to GraphRAG

这里插入一个内容:

github 项目克隆

首先安装git在文件夹中点击git bash here输入 git clone +地址但是我下载一直失败,所以我直接去网页下载下来了项目

以下链接是我最终成功下载graphrag的链接,感谢作者大大 

微软开源GraphRAG的使用教程(最全,非常详细)_graphrag使用教程-CSDN博客

本地初始化graphrag 

方法一

我按着大部分人的操作方法首先

pip install graphrag

时始终报错,整个过程让人相当崩溃,如果有看到这个过程的人有解决办法的也可以给我留言,以下是我的报错记录:

报错: 

尝试直接pip install fastparquet报错

尝试pip install pyproject报错 

尝试:pip install -i https://pypi.tuna.tsinghua.edu.cn/simple fastparquet

尝试更新python版本之前是12版本的:conda install python=3.11 更新不成功

尝试重新创建一个虚拟环境:conda create -n graph python==3.10,在我尝试创建新虚拟环境时又报错了

解决conda安装时出现的CondaVerificationError问题-CSDN博客

更新到3.11了尝试重新:pip 下载下来graphrag库了输入如下语句:

python -m graphrag.index --init --root ./ragtest

报错:

pip install ciffi还是报错

尝试conda install cffi解决

以下开始不停地报库的问题,我反复卸载又重装

报错:

pip install numpy==1.24.1

报错

 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas 

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple  rpds,最后这个重装也解决不了。

服了服了重新建虚拟环境!!!这个是我的新虚拟环境,下载的非常慢但是最后还是没有成功。

  qaq可歌可泣,在我重新创建了虚拟环境,并且网络貌似没有问题后这种方法安装graphrag也成功了,我估计是因为python版本不兼容以及环境和网络存在问题所以一直没有成功,大家报错的话可以修改一下python版本,建议直接新建虚拟环境,修改python版本在原来的环境里貌似也会报错。

方法二

微软开源GraphRAG的使用教程(最全,非常详细)_graphrag使用教程-CSDN博客

 关于这个方法的一些知识点学习:

1.poetry 入门完全指南_poetry使用-CSDN博客

1.安装poetry资源包管理工具

pip install poetry

poetry instatll

2.初始化

poetry run poe index --init --root .

 下载并将待检索的文档document放入./input/目录下

mkdir ./input #linux语法

curl https://www.xxx.com/xxx.txt > ./input/book.txt #示例,可以替换为任何的txt文件

 

至此,耗时一天半,两个安装graphrag的方法我都成功了。

 



声明

本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。