Ollama安装和实例部署(Linux版本)

花园Q 2024-08-30 17:07:23 阅读 54

下载 Ollama

Ollama的官网地址

在 Linux 上安装 - Ollama中文网

Ollame的官网介绍

1、ollama安装或者更新

自动安装或者更新

<code>#Linux

curl -fsSL https://ollama.com/install.sh | sh

这块我们可以直接下载,他是默认下载最新版本的。你也可以手动安装

手动安装

将其下载到您的 PATH 中的目录

sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama

sudo chmod +x /usr/bin/ollama

为 Ollama 创建一个用户

sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama

在 /etc/systemd/system/ollama.service 中创建一个服务文件:

[Unit]

Description=Ollama Service

After=network-online.target

[Service]

ExecStart=/usr/bin/ollama serve

User=ollama

Group=ollama

Restart=always

RestartSec=3

[Install]

WantedBy=default.target

然后启动服务:

sudo systemctl daemon-reload

sudo systemctl enable ollama

2、ollama常用指令

#使用感觉和docker类似,输出ollama就会有提示

ollama serve #启动ollama

ollama create #从模型文件创建模型

ollama show #显示模型信息

ollama run #运行模型

ollama pull #从注册表中拉取模型

ollama push #将模型推送到注册表

ollama list #列出模型

ollama cp #复制模型

ollama rm #删除模型

ollama help #获取有关任何命令的帮助信息

3、卸载

移除 ollama 服务:

sudo systemctl stop ollama

sudo systemctl disable ollama

sudo rm /etc/systemd/system/ollama.service

4、使用实例:举例 Llama3使用示例

#下载模型

ollama pull llama3

#下载成功查看模型

ollama list

#运行模型

ollama run llama3



声明

本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。