使用本地大模型运行 AI 搜索 - 开源项目 LLocalSearch
TechAI 2024-07-21 12:31:01 阅读 88
本文目标
像 perplexity.ai 和秘塔,都是AI搜索,根据我们的输入内容,搜索网络资料,然后读取、分析、提炼、总结,给出结果。
LLocalSearch 是一个开源项目,可以在我们的本机实现 AI 搜索。
它使用的是本地运行的大模型,所以不需要 OpenAI 或 Google 等平台的 API KEY。
LLocalSearch 使用 ollama 管理大模型,使用 docker-compose 管理自身应用。
下面,我们的目标就是把 LLocalSearch 运行起来。
运行效果
这是运行后的初始状态。
提了个问题 “什么是量子纠缠”。
LLocalSearch 经过搜索分析汇总,给出了结果。
并给出了它所读取的参考资料列表。
部署运行
Docker 和 Ollama 的安装非常简单,这里不在赘述。
1)配置和运行 Ollama
配置系统变量:
<code>// Windows 使用 set,Linux 使用 export
set OLLAMA_HOST=0.0.0.0:11434
这是为了让容器中运行的 LLocalSearch 可以访问到主机中的 Ollama 服务。
运行 Ollama:
ollama serve
2)配置 LLocalSearch
克隆项目
<code>git clone https://github.com/nilsherzig/LLocalSearch.git
cd ./LLocalSearch
复制目录中的环境配置文件 env-example
为 .env
然后修改其中的变量:
OLLAMA_HOST=http://[本机IP]:11434
3)启动 LLocalSearch
项目路径下执行:
docker-compose up
启动结束后显示如上日志信息。
然后就可以访问了,浏览器打开:
<code>http://localhost:3000/
第一次提问后,LLocalSearch 会通过 Ollama 下载大模型,时间较长,需要耐心等待。
不错吧,赶快试试吧。
项目地址:
github.com/nilsherzig/LLocalSearch
#AI 人工智能,#AI搜索,#LLocalSearch,#perplexity.ai,#秘塔AI,#gpt890
信息来源 gpt890.com/article/45
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。