AI 本地跑模型工具：14 个在用的选择，各自的短板都写清楚

「本地跑模型」这一类里我们收录了 14 个工具。每条都标了形态、价格和在国内能不能直连，以及最容易翻车的地方。

按我们的收录口径筛过：官网能打开、有真实用户、能说清它替你把哪一步做完了。

• Ollama ollama.com · 开源自建 · 开源免费 · 自建即离线
  一条命令把模型拉到本机跑，自带 OpenAI 兼容接口，验证想法和做内网 demo 最快。
  短板：默认上下文短；并发能力弱，多人共用会排队。
• LM Studio lmstudio.ai · 桌面 · 免费 · 自建即离线
  图形化的本地推理，能直接看显存占用、上下文长度和每秒 token，买卡之前先拿它试。
  短板：闭源；服务端模式只适合个人和小团队，不能当企业底座。
• vLLM github.com/vllm-project/vllm · 开源自建 · 开源免费 · 自建即离线
  高吞吐推理服务，多人共用一个模型时的默认选择，提供 OpenAI 兼容接口。
  短板：PagedAttention 会预占显存，单卡跑大模型容易 OOM，得先算 KV cache。
• OpenRouter openrouter.ai · API · 按量 · 需海外网络
  一个 key 调几百个模型，价格和延迟能横向比，做模型横评和快速换模型最省事。
  短板：国内要代理；部分模型有地区限制，也有中途下架的。
• 硅基流动 siliconflow.cn · API · 有免费额度 / 按量 · 国内直连
  国内直连的模型 API 聚合，人民币计费、接 DeepSeek 和 Qwen 这类模型很快，个人开发者常用。
  短板：热门模型高峰会排队；免费配额分档，压测前先看限额。
• 魔搭 ModelScope modelscope.cn · Web / API · 免费 · 国内直连
  阿里的模型社区，国内下载不用梯子，中文模型和数据集比 HuggingFace 全。
  短板：海外模型更新滞后；社区文档质量参差。
• llama.cpp github.com/ggml-org/llama.cpp · CLI · 开源免费 · 自建即离线
  本地跑 GGUF 模型的底层引擎，CPU 也能跑，几乎所有桌面客户端和自建服务都拿它当后端。
  短板：参数多、文档偏工程向；不同量化档的效果差异很大，要自己逐档试。
• SGLang github.com/sgl-project/sglang · 开源自建 · 开源免费 · 自建即离线
  高吞吐推理服务框架，结构化输出和前缀缓存做得比 vLLM 更激进，批量任务吞吐明显占优。
  短板：只支持特定模型结构，冷门模型要等适配；版本之间破坏兼容是常事。
• Open WebUI openwebui.com · 开源自建 · 开源免费 · 自建即离线
  给 Ollama 或任意 OpenAI 兼容接口套一个多用户网页界面，账号、知识库、工具调用都有现成的。
  短板：功能堆得多，配置项藏在多层菜单里；多用户上线还要自己接 OIDC 和对象存储。
• Cherry Studio cherryai.com.cn · 桌面 · 开源免费 · 国内直连
  桌面端多模型客户端，本地模型和各家云端 API 放一起管，中文界面完整，知识库和助手模板都有。
  短板：更新很频繁，偶有版本回退问题；导入大知识库时界面会卡住。
• Chatbox chatboxai.app · 桌面 · 开源免费 · 国内直连
  轻量桌面客户端，接任意 OpenAI 兼容接口，提示词和会话都存在本地，适合当随手用的对话框。
  短板：联网搜索、文档解析这类高级功能要登录或付费；多设备同步基本没有。
• Unsloth unsloth.ai · 开源自建 · 开源免费 · 自建即离线
  微调加速库，同样一张卡能让 LoRA 训练快一倍、显存省一大截，单卡玩家练小模型最常用。
  短板：只支持部分模型结构，冷门架构要自己改代码；多卡支持弱，规模一上来就得换框架。
• LlamaFactory llamafactory.readthedocs.io · 开源自建 · 开源免费 · 自建即离线
  一站式微调框架，100 多个模型的 SFT、DPO、续训都有现成脚本，命令行和网页界面都给了。
  短板：配置项极多，第一次跑要照着文档逐项对；数据格式错一行就报看不懂的错，排查全靠经验。
• LocalAI localai.io · 开源自建 · 开源免费 · 自建即离线
  本地自建的 OpenAI 兼容服务，文本、图像、语音、重排一个端点接完，换模型不用改客户端。
  短板：镜像不小、启动慢；不同模型的兼容性参差，出问题多半只能翻日志自己排。

换个场景看

AI 写代码工具 · AI 读文档工具 · AI 通用对话工具 · AI 搜索与研究工具 · AI 写作与办公工具 · AI 出图工具 · AI 出视频工具 · AI 语音工具 · AI 搭 Agent工具 · AI 数据与表格工具 · AI 设计建站工具

全部 155 个工具 · 自建选型矩阵 · 痛点专题