← 选型矩阵
MLC-LLM vs Ollama vs llama.cpp
维度
MLC-LLM
Ollama
llama.cpp
用途
推理服务
推理服务
推理服务
部署形态
桌面端
单机
单机
纯内网
是
是
是
显存门槛
8G
8G
无
部署难度
●●●●○
●○○○○
●●○○○
许可
Apache-2.0
MIT
MIT
成本
自建免费
自建免费
自建免费
中文
是
是
是
扫描件 OCR
否
否
否
批量
否
否
否
多人协作
否
否
否
要注意
每个模型都要先编译;预编译包覆盖有限,遇到冷门模型要自己啃编译参数。
默认上下文短;长文档要显式调大 context 并确认显存够,否则会被静默截断。
没有现成界面,模型管理全靠命令行;团队用要自己在上面套壳。