← 选型矩阵

Ollama vs llama.cpp vs vLLM

维度Ollamallama.cppvLLM
用途推理服务推理服务推理服务
部署形态单机单机Docker
纯内网是是是
显存门槛8G无24G+
部署难度●○○○○●●○○○●●●○○
许可MITMITApache-2.0
成本自建免费自建免费自建免费
中文是是是
扫描件 OCR否否否
批量否否否
多人协作否否是
要注意默认上下文短;长文档要显式调大 context 并确认显存够,否则会被静默截断。没有现成界面,模型管理全靠命令行;团队用要自己在上面套壳。PagedAttention 会预占显存,单卡跑大模型要先算 KV cache,容易 OOM。