Ollama

ollama.com · 本地跑模型 · 开源自建 · 开源免费 · 自建即离线

一条命令把模型拉到本机跑，自带 OpenAI 兼容接口，验证想法和做内网 demo 最快。

短板：默认上下文短；并发能力弱，多人共用会排队。

桌面端 · 抓图于 2026-11

访问站点 ↗

本地推理本地部署开源

配套 skill：用 Ollama 做一次本机模型压测

要决定「这台机器能不能跑某个模型」，或者在几个尺寸之间选一个。
可以复制成 local-model-benchmark/SKILL.md 放进 Claude Code，或作为 AGENTS.md 交给 Codex。

1. 按显存挑两个尺寸（比如 8B 与 32B 的量化版），先各自拉下来。
2. 用同一个 prompt 各跑 3 次，记录：首次加载耗时、每秒输出 token、显存峰值。
3. 把上下文调到你实际要用的长度再测一遍——上下文一长，速度和显存都会变脸。
4. 用你真实业务里最长的那段输入测一次，看会不会被静默截断。
5. 把数字写成一张表贴进项目 README，下次换机器直接对照。

同样用来「本地跑模型」的其它选择

• LM Studio — 图形化的本地推理，能直接看显存占用、上下文长度和每秒 token，买卡之前先拿它试。
• vLLM — 高吞吐推理服务，多人共用一个模型时的默认选择，提供 OpenAI 兼容接口。
• OpenRouter — 一个 key 调几百个模型，价格和延迟能横向比，做模型横评和快速换模型最省事。

← 全部 155 个工具 · 自建选型矩阵 · 痛点专题