Win10环境下使用Ollama搭建本地AI

小朱小先生 2024-06-14 15:31:01 阅读 92

前言:

1、Ollama需要安装0.1.27版本,高于这个版本在执行Ollama run 指令时会频繁触发一些奇奇怪怪的问题。

2、4.3篇章是重点,若你需要使用web访问的话,莫要忘记!

3、本文章适合新手。

4、篇章5中会介绍如何在vscode中利用ollama实现类似copilot的功能。

1、安装Ollama

        前往Ollama官网下载Windows版本的安装包,双击安装。需要注意的是,安装过程中有可能会触发杀毒软件警报,记得放行。

2、下载并运行AI模型

        打开cmd界面。执行ollama run codellama。或者前往AI模型列表选择自己想要的AI模型,执行ollama run 指令。执行成功它会判断是否已经安装,若未安装,将会自动安装并打开。以下是安装成功的效果。

3、更改AI模型下载位置。

        打开环境变量,在系统变量中新增OLLAMA_MODELS变量,值填入想要存放模型的路径。如下。

4、使用webui访问

        4.1、启动并验证OLLAMA服务是否正常

                当OLLAMA启动后,访问localhost:11434。若页面出现Ollama is running。则说明程序正常。   

        4.2、更改访问IP

                在环境变量-系统变量中新增OLLAMA_HOST,值填入0.0.0.0。重新运行OLLAMA后,就可以通过本机IP访问。

        4.3、开放跨域权限

                在环境变量-系统变量中新增OLLAMA_ORIGINS,值填入*;【* -->英文星号】。不开放跨域,在使用ollama-webui-lite访问ollama时,会弹出Error: ollama version is 0错误。

        4.4、安装 ollama-webui-lite  

                想要折腾的,建议安装这个open-webui。我尝试在Windows10上运行,但是跑不起来。所以换成了ollama-webui-lite。lite是基于open-webui上做了精简,删掉了无关的组件,仅保留webui功能。

                安装并执行ollama-webui-lite。然后打开ip:3000,就能打开AI的web界面了。之后安装模型,删除模型你就可以直接用web界面来控制。

5、在vscode中使用ollama进行自动补全代码。

        具体文章访问这个吧。ollama+vscode实现本地github copilot

        



声明

本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。