ollama 离线安装

虽然 Ollama 通过一条命令就可以完成在线安装，但由于网络限制，下载速度非常慢。若将提前下载的 Ollama 安装文件存放到内部共享，再参考此文章就可以实现快速的离线部署安装，大大节省部署时间。

#.官方在线安装：curl -fsSL https://ollama.com/install.sh | sh
#.安装指定版本：curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh
#.官方安装手册：https://github.com/ollama/ollama/blob/main/docs/linux.md

[toc]

离线安装 Ollama

• 第1步，根据不同的GPU厂商，下载并解压安装包（Github官方下载地址），示例版本 Ollama 0.5.7

# NVIDIA GPU 或 无GPU
# curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o /opt/ollama-linux-amd64.tgz
curl -L http://iso.sqlfans.cn/ai/ollama/0.5.7/ollama-linux-amd64.tgz -o /opt/ollama-linux-amd64.tgz
sudo tar -C /usr -xzf /opt/ollama-linux-amd64.tgz

# AMD GPU
# curl -L https://ollama.com/download/ollama-linux-amd64-rocm.tgz -o /opt/ollama-linux-amd64-rocm.tgz
# sudo tar -C /usr -xzf /opt/ollama-linux-amd64-rocm.tgz

# ARM64
# curl -L https://ollama.com/download/ollama-linux-arm64.tgz -o /opt/ollama-linux-arm64.tgz
# sudo tar -C /usr -xzf /opt/ollama-linux-arm64.tgz

• 第2步，启动 Ollama 进程

ollama serve

• 第3步，新开一个会话终端，确认 Ollama 已运行

netstat -lnpt | grep 11434
ollama --version

• 第4步，创建用户和组

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

• 第5步，创建服务配置文件

cat > /etc/systemd/system/ollama.service <<EOF
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
Environment="OLLAMA_HOST=0.0.0.0:11434"

[Install]
WantedBy=default.target
EOF

• 第6步，启动 Ollama 服务

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama
sudo systemctl status ollama

• 第7步，访问 Ollama API 地址，示例 http://192.168.31.101:11434

如何卸载 Ollama

• 彻底卸载 Ollama

sudo systemctl stop ollama 2> /dev/null
sudo systemctl disable ollama 2> /dev/null
sudo rm -f /etc/systemd/system/ollama.service
sudo userdel -r ollama 2> /dev/null
sudo groupdel ollama 2> /dev/null
sudo rm -rf /usr/lib/ollama
sudo rm -rf /usr/share/ollama
sudo rm -f /usr/bin/ollama

安装 CUDA 或 AMD ROCm 驱动

• 下载和安装 CUDA，参考这里，执行 nvidia-smi 确认已识别 GPU 设备

nvidia-smi

• 下载和安装 AMD ROCm v6，参考这里