← 选型矩阵

MLC-LLM vs Ollama vs llama.cpp

维度MLC-LLMOllamallama.cpp
用途推理服务推理服务推理服务
部署形态桌面端单机单机
纯内网是是是
显存门槛8G8G无
部署难度●●●●○●○○○○●●○○○
许可Apache-2.0MITMIT
成本自建免费自建免费自建免费
中文是是是
扫描件 OCR否否否
批量否否否
多人协作否否否
要注意每个模型都要先编译;预编译包覆盖有限,遇到冷门模型要自己啃编译参数。默认上下文短;长文档要显式调大 context 并确认显存够,否则会被静默截断。没有现成界面,模型管理全靠命令行;团队用要自己在上面套壳。