← 六张分榜 · 选型矩阵

推理服务榜：14 个方案，按上手成本排

把模型跑起来的那一层。它决定你的卡够不够、并发扛不扛得住、能不能纯内网。

这类方案怎么挑

• 先按显存门槛卡一遍：8G 和 24G+ 是两种完全不同的落地方式。
• 单机跑通 ≠ 多人可用；要多人共用就得看有没有 OpenAI 兼容接口和并发能力。
• 量化版本（GGUF/AWQ）的精度损失，要在自己的语料上验，别看榜单标题。

榜单

1. Jan — 桌面端；推理服务；显存 8G；难度 1/5；AGPL-3.0。
   本地版 ChatGPT 的替代客户端，界面干净，本地模型和远程 API 能混着用。 注意：AGPL；桌面单机形态，团队共享与服务器部署要自己另搭。
2. KoboldCpp — 桌面端；推理服务；显存 8G；难度 1/5；AGPL-3.0。
   单文件可执行程序，双击就有 Web UI 和 OpenAI 兼容接口，老机器和核显也能跑。 注意：AGPL 会传染，嵌进商业产品前先想清楚；定位偏个人创作，多人协作和权限基本没有。
3. LM Studio — 桌面端；推理服务；显存 8G；难度 1/5；闭源。
   图形化本地推理，能直接看到显存占用、上下文长度和每秒 token，买硬件前先拿它试。 注意：闭源；服务端模式只适合个人或小团队试用，不能当企业底座。
4. Ollama — 单机；推理服务；显存 8G；难度 1/5；MIT。
   一条命令拉模型在本机跑，GGUF 量化，Mac/Win/Linux 通用，自带 OpenAI 兼容接口。 注意：默认上下文短；长文档要显式调大 context 并确认显存够，否则会被静默截断。
5. llama.cpp — 单机；推理服务；显存 无；难度 2/5；MIT。
   最底层也最省的推理实现，纯 CPU 也能跑，量化格式的事实标准（GGUF 就是它定义的）。 注意：没有现成界面，模型管理全靠命令行；团队用要自己在上面套壳。
6. Xinference — Docker；推理服务；显存 8G；难度 2/5；Apache-2.0。
   把 LLM / embedding / rerank 统一挂在一个服务后面，对外一套 OpenAI 风格 API。 注意：模型能力不如手调 vLLM，重负载场景性能有差距。
7. text-generation-webui — 桌面端；推理服务；显存 8G；难度 2/5；AGPL-3.0。
   老牌本地 WebUI，几乎能加载所有量化格式，插件和角色卡生态最丰富。 注意：AGPL；项目节奏慢，新模型的首发支持常靠社区补丁，别当生产底座。
8. OpenVINO Model Server — Docker；推理服务；显存 无；难度 3/5；Apache-2.0。
   Intel 的推理服务，纯 CPU 与核显上比通用方案快一截，适合没有独显的内网机器。 注意：模型要先转成 OpenVINO IR，转换失败时排查成本高；非 Intel 平台上优势消失。
9. LMDeploy — Docker；推理服务；显存 24G+；难度 3/5；Apache-2.0。
   上海 AI Lab 的推理引擎，W4A16 量化做得扎实，同一张卡能塞下更大的模型，OpenAI 兼容接口现成。 注意：对自家模型链路优化最深；换第三方模型时量化与算子支持要一个个验。
10. TGI — Docker；推理服务；显存 24G+；难度 3/5；Apache-2.0。
    HuggingFace 官方推理服务，连续批处理和 token 流式输出是它的看家本领，Docker 一条命令起。 注意：官方重心已转向其他推理栈，TGI 迭代明显放缓；新模型的支持常常慢半拍。
11. vLLM — Docker；推理服务；显存 24G+；难度 3/5；Apache-2.0。
    高吞吐推理服务，提供 OpenAI 兼容 API，多人共用一个模型服务时的默认选择。 注意：PagedAttention 会预占显存，单卡跑大模型要先算 KV cache，容易 OOM。
12. MLC-LLM — 桌面端；推理服务；显存 8G；难度 4/5；Apache-2.0。
    用 TVM 把模型编译到不同后端，笔记本、手机、浏览器里都能跑同一份模型。 注意：每个模型都要先编译；预编译包覆盖有限，遇到冷门模型要自己啃编译参数。
13. SGLang — Docker；推理服务；显存 24G+；难度 4/5；Apache-2.0。
    面向高并发的推理引擎，前缀缓存和结构化输出做得好，适合接口型负载。 注意：版本迭代快，和特定模型/显卡的兼容矩阵要现查，不适合当稳定底座。
14. TensorRT-LLM — Docker；推理服务；显存 24G+；难度 4/5；Apache-2.0。
    NVIDIA 官方方案，编译后吞吐在自家卡上通常最高，适合把成本压到极致的生产环境。 注意：模型要预先编译成 engine，换模型或换卡架构就得重编，一次几十分钟起步；版本与驱动强绑定。

字段核验：2026-11。榜单免费，多条件筛选、CSV 导出与 MCP 接入在会员里。