vLLM

github.com/vllm-project/vllm · 本地跑模型 · 开源自建 · 开源免费 · 自建即离线

高吞吐推理服务，多人共用一个模型时的默认选择，提供 OpenAI 兼容接口。

短板：PagedAttention 会预占显存，单卡跑大模型容易 OOM，得先算 KV cache。

桌面端 · 抓图于 2026-11

访问站点 ↗

推理服务本地部署开源批量处理

配套 skill：vLLM 部署后先压测，再谈能不能上线

要把本地模型做成多人可用的服务，需要知道「几个人同时用会开始排队」。
可以复制成 inference-throughput-benchmark/SKILL.md 放进 Claude Code，或作为 AGENTS.md 交给 Codex。

1. 先单请求测：首 token 延迟、每秒输出 token，记下这两个基线。
2. 再逐步加压（1/2/4/8 并发），每次只改一个变量，记录吞吐与延迟曲线。
3. 找到延迟开始明显劣化的那个并发点，那就是这台机器的真实容量。
4. 用最长上下文跑一次，确认显存不会 OOM——长上下文比并发更吃显存。
5. 把曲线图和结论写进部署文档：运维要知道「什么时候该加卡」。

同样用来「本地跑模型」的其它选择

• Ollama — 一条命令把模型拉到本机跑，自带 OpenAI 兼容接口，验证想法和做内网 demo 最快。
• LM Studio — 图形化的本地推理，能直接看显存占用、上下文长度和每秒 token，买卡之前先拿它试。
• OpenRouter — 一个 key 调几百个模型，价格和延迟能横向比，做模型横评和快速换模型最省事。

← 全部 155 个工具 · 自建选型矩阵 · 痛点专题