SGLang

github.com/sgl-project/sglang · 本地跑模型 · 开源自建 · 开源免费 · 自建即离线

高吞吐推理服务框架，结构化输出和前缀缓存做得比 vLLM 更激进，批量任务吞吐明显占优。

短板：只支持特定模型结构，冷门模型要等适配；版本之间破坏兼容是常事。

这个站点还没有截图：抓取时被拦截或页面没渲染出来，所以这里不放图——不放空的图框，也不放别人的截图。

访问站点 ↗

推理服务开源本地部署

同样用来「本地跑模型」的其它选择

• Ollama — 一条命令把模型拉到本机跑，自带 OpenAI 兼容接口，验证想法和做内网 demo 最快。
• LM Studio — 图形化的本地推理，能直接看显存占用、上下文长度和每秒 token，买卡之前先拿它试。
• vLLM — 高吞吐推理服务，多人共用一个模型时的默认选择，提供 OpenAI 兼容接口。

← 全部 155 个工具 · 自建选型矩阵 · 痛点专题