设置Ollama在局域网中访问的方法(Ubuntu)
蛐蛐蛐 2024-07-04 12:07:02 阅读 81
趁着Llama3的热度试了一下Ollama,果然部署推理大模型很有用。一个现实的需求是,如果我们要在局域网中访问Ollama上大模型的服务,应该怎么办呢?参考了一下其他博客的方法
例如:一分钱不花!手把手教你部署Google最强开源AI大模型Gemma教程_windows "ollama_host=0.0.0.0:11434" ollama serve-CSDN博客
也不是很麻烦:
首先打开Ollama的配置文件
<code>sudo gedit /etc/systemd/system/ollama.service
在[Service]下面加上:
Environment="OLLAMA_HOST=0.0.0.0:11434"code>
其次配置防火墙,打开端口。Ollama的默认端口是11434,所以直接输入:
sudo ufw allow 11434/tcp
再重启之后,就可以通过http在局域网中访问了:
http://192.168.1.XX:11434
可以看到:
Ollama is running
就可以通过局域网或者另一台机子上的LangChain调用了。就简单记录这么多。
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。