← 选型矩阵 · 推理服务
TensorRT-LLM：推理服务，Docker，显存 24G+
NVIDIA 官方方案，编译后吞吐在自家卡上通常最高，适合把成本压到极致的生产环境。
关键字段
| 用途 | 推理服务 |
|---|
| 部署形态 | Docker |
|---|
| 纯内网 | 是 |
|---|
| 显存门槛 | 24G+ |
|---|
| 部署难度 | ●●●●○ |
|---|
| 许可 | Apache-2.0 |
|---|
| 成本 | 自建免费 |
|---|
| 中文 | 否 |
|---|
| 扫描件 OCR | 否 |
|---|
| 批量 | 否 |
|---|
| 多人协作 | 是 |
|---|
| 要注意 | 模型要预先编译成 engine，换模型或换卡架构就得重编，一次几十分钟起步；版本与驱动强绑定。 |
|---|
字段核验：2026-11（许可、部署形态、显存门槛来自项目公开文档；价格不上表，会过期）
选它之前要想清楚
模型要预先编译成 engine，换模型或换卡架构就得重编，一次几十分钟起步；版本与驱动强绑定。
项目主页 ↗
同类替代
- Ollama（单机 · 显存 8G · 难度 1）— 默认上下文短；长文档要显式调大 context 并确认显存够，否则会被静默截断。
- llama.cpp（单机 · 显存 无 · 难度 2）— 没有现成界面，模型管理全靠命令行；团队用要自己在上面套壳。
- vLLM（Docker · 显存 24G+ · 难度 3）— PagedAttention 会预占显存，单卡跑大模型要先算 KV cache，容易 OOM。
- SGLang（Docker · 显存 24G+ · 难度 4）— 版本迭代快，和特定模型/显卡的兼容矩阵要现查，不适合当稳定底座。
把 TensorRT-LLM 和同类并排对比 →