Xinference vs Ollama vs llama.cpp

维度	Xinference	Ollama	llama.cpp
用途	推理服务	推理服务	推理服务
部署形态	Docker	单机	单机
纯内网	是	是	是
显存门槛	8G	8G	无
部署难度	●●○○○	●○○○○	●●○○○
许可	Apache-2.0	MIT	MIT
成本	自建免费	自建免费	自建免费
中文	是	是	是
扫描件 OCR	否	否	否
批量	否	否	否
多人协作	是	否	否
要注意	模型能力不如手调 vLLM，重负载场景性能有差距。	默认上下文短；长文档要显式调大 context 并确认显存够，否则会被静默截断。	没有现成界面，模型管理全靠命令行；团队用要自己在上面套壳。