TensorRT-LLM vs Ollama vs llama.cpp

维度	TensorRT-LLM	Ollama	llama.cpp
用途	推理服务	推理服务	推理服务
部署形态	Docker	单机	单机
纯内网	是	是	是
显存门槛	24G+	8G	无
部署难度	●●●●○	●○○○○	●●○○○
许可	Apache-2.0	MIT	MIT
成本	自建免费	自建免费	自建免费
中文	否	是	是
扫描件 OCR	否	否	否
批量	否	否	否
多人协作	是	否	否
要注意	模型要预先编译成 engine，换模型或换卡架构就得重编，一次几十分钟起步；版本与驱动强绑定。	默认上下文短；长文档要显式调大 context 并确认显存够，否则会被静默截断。	没有现成界面，模型管理全靠命令行；团队用要自己在上面套壳。