← 选型矩阵

text-generation-webui vs Ollama vs llama.cpp

维度text-generation-webuiOllamallama.cpp
用途推理服务推理服务推理服务
部署形态桌面端单机单机
纯内网是是是
显存门槛8G8G无
部署难度●●○○○●○○○○●●○○○
许可AGPL-3.0MITMIT
成本自建免费自建免费自建免费
中文是是是
扫描件 OCR否否否
批量否否否
多人协作否否否
要注意AGPL;项目节奏慢,新模型的首发支持常靠社区补丁,别当生产底座。默认上下文短;长文档要显式调大 context 并确认显存够,否则会被静默截断。没有现成界面,模型管理全靠命令行;团队用要自己在上面套壳。