← 选型矩阵 · 推理服务
高吞吐推理服务，提供 OpenAI 兼容 API，多人共用一个模型服务时的默认选择。
| 用途 | 推理服务 |
|---|---|
| 部署形态 | Docker |
| 纯内网 | 是 |
| 显存门槛 | 24G+ |
| 部署难度 | ●●●○○ |
| 许可 | Apache-2.0 |
| 成本 | 自建免费 |
| 中文 | 是 |
| 扫描件 OCR | 否 |
| 批量 | 否 |
| 多人协作 | 是 |
| 要注意 | PagedAttention 会预占显存，单卡跑大模型要先算 KV cache，容易 OOM。 |
字段核验：2026-11（许可、部署形态、显存门槛来自项目公开文档；价格不上表，会过期）
PagedAttention 会预占显存，单卡跑大模型要先算 KV cache，容易 OOM。