← 选型矩阵
SGLang vs Ollama vs llama.cpp
维度
SGLang
Ollama
llama.cpp
用途
推理服务
推理服务
推理服务
部署形态
Docker
单机
单机
纯内网
是
是
是
显存门槛
24G+
8G
无
部署难度
●●●●○
●○○○○
●●○○○
许可
Apache-2.0
MIT
MIT
成本
自建免费
自建免费
自建免费
中文
是
是
是
扫描件 OCR
否
否
否
批量
否
否
否
多人协作
是
否
否
要注意
版本迭代快,和特定模型/显卡的兼容矩阵要现查,不适合当稳定底座。
默认上下文短;长文档要显式调大 context 并确认显存够,否则会被静默截断。
没有现成界面,模型管理全靠命令行;团队用要自己在上面套壳。