Ollama用于在本地运行和部署大型语言模型（LLMs）的工具，可以非常方便的部署本地大模型

安装

Linux 

<code>curl -fsSL https://ollama.com/install.sh | sh

 我是ubuntu系统安装，其他系统可以看项目的开源地址有写

GitHub - ollama/ollama: Get up and running with Llama 3, Mistral, Gemma, and other large language models.

docker安装

一键脚本

#!/bin/bash

#################################################################################

# 功能：自动部署Ollama（Docker方式，GPU）

# 说明：如果已安装了Docker，请注释掉 install_docker，避免重复安装

#################################################################################

info(){

echo -e "\033[34m 【`date '+%Y-%m-%d %H:%M:%S'`】\033[0m" "\033[35m$1\033[0m "

}

install_docker(){

#!/bin/bash

info "安装依赖..."

yum -y install gcc

yum -y install gcc-c++

##验证gcc版本

gcc -v

info "安装Docker（指定版本：23.0.6）"

wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O/etc/yum.repos.d/docker-ce.repo

##更新yum软件包索引

yum makecache fast

## 安装docker ce cli

# 查看可安装版本：yum list docker-ce --showduplicates | sort -r

yum -y install docker-ce-23.0.6-1.el7 docker-ce-cli-23.0.6-1.el7

info "启动Docker并验证"

systemctl enable docker && systemctl start docker

docker version

## 创建加速器

#cd /etc/docker

#if [ ! -f "$daemon.json" ]; then

# touch "$daemon.json"

#else

# rm -rf daemon.json

# touch "$daemon.json"

#fi

#tee /etc/docker/daemon.json <<-'EOF'

#{

#"registry-mirrors": ["https://自己的镜像加速器地址"]

#}

#EOF

#systemctl daemon-reload

#systemctl restart docker

info "Docker（23.0.6）安装完毕！"

}

# 安装 Ollama

install_Ollama(){

info "参考IP地址："$(hostname -I)

read -p "请问，您当前服务器的内网IP地址是？:" inner_ip

inner_ip="${inner_ip:-127.0.0.1}"code>

curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \

| sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo

sudo yum install -y nvidia-container-toolkit

sudo nvidia-ctk runtime configure --runtime=docker

sudo systemctl restart docker

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama

info "ollama部署完毕，开始下载qwen:0.5b模型..."

docker exec -it ollama ollama run qwen:0.5b “你好”

info "qwen:0.5b模型加载完成，开始部署webui界面..."

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://${inner_ip}:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main

eip=$(curl ifconfig.me/ip)

info "部署完毕，正在启动WEBUI界面，大约5分钟后，请访问：http://${eip}:3000"

}

install_docker

install_Ollama

上面是一键安装脚本