← 选型矩阵

LMDeploy vs Ollama vs llama.cpp

维度LMDeployOllamallama.cpp
用途推理服务推理服务推理服务
部署形态Docker单机单机
纯内网是是是
显存门槛24G+8G无
部署难度●●●○○●○○○○●●○○○
许可Apache-2.0MITMIT
成本自建免费自建免费自建免费
中文是是是
扫描件 OCR否否否
批量否否否
多人协作是否否
要注意对自家模型链路优化最深;换第三方模型时量化与算子支持要一个个验。默认上下文短;长文档要显式调大 context 并确认显存够,否则会被静默截断。没有现成界面,模型管理全靠命令行;团队用要自己在上面套壳。