TGI vs Ollama vs llama.cpp

维度	TGI	Ollama	llama.cpp
用途	推理服务	推理服务	推理服务
部署形态	Docker	单机	单机
纯内网	是	是	是
显存门槛	24G+	8G	无
部署难度	●●●○○	●○○○○	●●○○○
许可	Apache-2.0	MIT	MIT
成本	自建免费	自建免费	自建免费
中文	否	是	是
扫描件 OCR	否	否	否
批量	否	否	否
多人协作	是	否	否
要注意	官方重心已转向其他推理栈，TGI 迭代明显放缓；新模型的支持常常慢半拍。	默认上下文短；长文档要显式调大 context 并确认显存够，否则会被静默截断。	没有现成界面，模型管理全靠命令行；团队用要自己在上面套壳。