llama.cpp

github.com/ggml-org/llama.cpp · 本地跑模型 · CLI · 开源免费 · 自建即离线

本地跑 GGUF 模型的底层引擎，CPU 也能跑，几乎所有桌面客户端和自建服务都拿它当后端。

短板：参数多、文档偏工程向；不同量化档的效果差异很大，要自己逐档试。

这个站点还没有截图：抓取时被拦截或页面没渲染出来，所以这里不放图——不放空的图框，也不放别人的截图。

访问站点 ↗

本地推理开源免费可用

同样用来「本地跑模型」的其它选择

• Ollama — 一条命令把模型拉到本机跑，自带 OpenAI 兼容接口，验证想法和做内网 demo 最快。
• LM Studio — 图形化的本地推理，能直接看显存占用、上下文长度和每秒 token，买卡之前先拿它试。
• vLLM — 高吞吐推理服务，多人共用一个模型时的默认选择，提供 OpenAI 兼容接口。

← 全部 155 个工具 · 自建选型矩阵 · 痛点专题