← 选型矩阵
Ollama vs llama.cpp vs vLLM
维度
Ollama
llama.cpp
vLLM
用途
推理服务
推理服务
推理服务
部署形态
单机
单机
Docker
纯内网
是
是
是
显存门槛
8G
无
24G+
部署难度
●○○○○
●●○○○
●●●○○
许可
MIT
MIT
Apache-2.0
成本
自建免费
自建免费
自建免费
中文
是
是
是
扫描件 OCR
否
否
否
批量
否
否
否
多人协作
否
否
是
要注意
默认上下文短;长文档要显式调大 context 并确认显存够,否则会被静默截断。
没有现成界面,模型管理全靠命令行;团队用要自己在上面套壳。
PagedAttention 会预占显存,单卡跑大模型要先算 KV cache,容易 OOM。