LocalAI

localai.io · 本地跑模型 · 开源自建 · 开源免费 · 自建即离线

本地自建的 OpenAI 兼容服务，文本、图像、语音、重排一个端点接完，换模型不用改客户端。

短板：镜像不小、启动慢；不同模型的兼容性参差，出问题多半只能翻日志自己排。

这个站点还没有截图：抓取时被拦截或页面没渲染出来，所以这里不放图——不放空的图框，也不放别人的截图。

访问站点 ↗

本地推理多模型开源本地部署

同样用来「本地跑模型」的其它选择

• Ollama — 一条命令把模型拉到本机跑，自带 OpenAI 兼容接口，验证想法和做内网 demo 最快。
• LM Studio — 图形化的本地推理，能直接看显存占用、上下文长度和每秒 token，买卡之前先拿它试。
• vLLM — 高吞吐推理服务，多人共用一个模型时的默认选择，提供 OpenAI 兼容接口。

← 全部 155 个工具 · 自建选型矩阵 · 痛点专题