一、操作系统选择
推荐 Ubuntu 22.04 LTS Server
- NVIDIA 驱动和 CUDA 生态支持最成熟
- Docker 安装最简单,兼容性最好
- 长期支持版本,稳定性有保障
二、部署关键信息速览
| 项目 | 规格/版本 |
|---|---|
| CPU | 8 核心 |
| 内存 | 32 GB |
| 存储 | 200 GB+ SSD |
| 显卡 | NVIDIA RTX 3060 12GB |
| 操作系统 | Ubuntu 22.04 LTS |
| GPU 驱动 | NVIDIA 550+ |
| Ollama | 最新稳定版 |
| Strix | 最新 release |
| 推荐模型 | llama3:8b 或 deepseek-r1:7b |
RTX 3060 计算能力 8.6,完全在 Ollama 支持范围内。
三、NVIDIA 驱动与 CUDA 安装
# 添加 NVIDIA 官方驱动源
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update
# 安装驱动(推荐 550 或更高版本)
sudo apt install nvidia-driver-550
# 重启
sudo reboot
# 验证安装
nvidia-smi
Ollama 会自动检测并使用 NVIDIA GPU,无需额外配置 CUDA 工具包。
四、Ollama 部署
4.1 安装 Ollama
curl -fsSL https://ollama.com/install.sh | sh
安装脚本会自动完成以下工作:
- 下载并解压二进制文件到
/usr - 创建
ollama系统用户 - 注册 systemd 服务
4.2 配置 systemd 服务(可选)
若需自定义 Ollama 运行参数(如监听地址、并发数等),可通过 override 文件配置:
sudo systemctl edit ollama
填入以下内容:
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_NUM_PARALLEL=4"
Environment="OLLAMA_MAX_LOADED_MODELS=2"
4.3 启动 Ollama
sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama
sudo systemctl status ollama
4.4 下载模型
# 下载 8B 参数模型(RTX 3060 12GB 显存可流畅运行)
ollama pull llama3:8b
# 或下载 DeepSeek R1 7B
ollama pull deepseek-r1:7b
7B 参数模型运行时需占用约 4-8GB 显存,RTX 3060 12GB 完全够用。
4.5 验证 Ollama API
curl http://localhost:11434/api/generate -d '{
"model": "llama3:8b",
"prompt": "Hello"
}'
五、Strix 部署
项目说明:原
strixproject/Strix已存档,当前活跃仓库为usestrix/strix。
5.1 安装 Docker
# 安装依赖
sudo apt update
sudo apt install ca-certificates curl
# 添加 Docker 官方 GPG 密钥
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc
# 添加 Docker 仓库
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
# 安装 Docker
sudo apt update
sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
# 将当前用户加入 docker 组
sudo usermod -aG docker $USER
# 重新登录生效
5.2 安装 Strix CLI
# 下载 Strix 二进制文件(以 Linux amd64 为例)
# 具体下载地址请查阅 GitHub Releases: https://github.com/usestrix/strix/releases
wget https://github.com/usestrix/strix/releases/latest/download/strix-linux-amd64 -O strix
chmod +x strix
sudo mv strix /usr/local/bin/
# 验证安装
strix --version
5.3 配置 Strix 使用本地 Ollama
Strix 通过 LiteLLM 兼容 100+ LLM 提供商,Ollama 的本地 API 完全兼容 OpenAI 接口格式。
创建配置文件 ~/.strix/cli-config.json:
{
"llm": {
"provider": "openai",
"base_url": "http://localhost:11434/v1",
"api_key": "ollama",
"model": "llama3:8b"
}
}
或通过环境变量配置:
export STRIX_LLM="openai/llama3:8b"
export LLM_API_KEY="ollama"
export OPENAI_API_BASE="http://localhost:11434/v1"
5.4 首次运行(自动拉取 Sandbox 镜像)
strix --target ./your-app
首次运行会自动拉取 Strix 的 Docker Sandbox 镜像(ghcr.io/usestrix/strix-sandbox:1.0.0),耗时取决于网络状况。
六、Ollama + Strix 联合配置
6.1 关键环境变量汇总
| 变量 | 值 | 说明 |
|---|---|---|
OLLAMA_HOST | 0.0.0.0:11434 | Ollama 监听地址 |
STRIX_LLM | openai/llama3:8b | Strix 使用的模型 |
LLM_API_KEY | ollama | API Key(Ollama 不验证,随意填) |
OPENAI_API_BASE | http://localhost:11434/v1 | Ollama 的 OpenAI 兼容端点 |
6.2 GPU 资源限制(可选)
若系统有多张 GPU,可通过以下方式限制 Ollama 使用的 GPU:
export CUDA_VISIBLE_DEVICES=0
或在 systemd override 中添加:
Environment="CUDA_VISIBLE_DEVICES=0"
6.3 验证完整链路
# 1. 确认 Ollama 服务正常
curl http://localhost:11434/api/tags
# 2. 确认模型已加载
ollama list
# 3. 执行一次简单扫描验证
strix --target https://httpbin.org --max-rounds 3
七、部署架构总览
┌─────────────────────────────────────────────────┐
│ 硬件主机 │
│ CPU: 8核 | RAM: 32GB | SSD: 200GB+ │
│ GPU: NVIDIA RTX 3060 12GB │
├─────────────────────────────────────────────────┤
│ │
│ ┌─────────────┐ ┌─────────────────────┐ │
│ │ Ollama │◄─────│ Strix CLI │ │
│ │ :11434 │ API │ (命令行工具) │ │
│ └──────┬──────┘ └──────────┬──────────┘ │
│ │ │ │
│ ▼ ▼ │
│ ┌─────────────┐ ┌─────────────────────┐ │
│ │ llama3:8b │ │ Docker Sandbox │ │
│ │ (GPU加速) │ │ (隔离执行环境) │ │
│ └─────────────┘ └─────────────────────┘ │
│ │
└─────────────────────────────────────────────────┘
八、常见问题速查
Q:Strix 报错 "Docker not running"
启动 Docker 服务:sudo systemctl start docker
Q:Ollama 未使用 GPU
检查驱动版本:nvidia-smi 需显示 GPU 信息且驱动 ≥ 550
Q:模型推理速度慢
确认模型已加载到 GPU:ollama ps 查看当前运行的模型及显存占用
Q:Strix 扫描结果不理想
可尝试更换更大参数量的模型(如 llama3.1:8b 或 mixtral:8x7b),但需注意 RTX 3060 12GB 显存上限