本地部署：37 个工具，各自的短板都写清楚

标签「本地部署」下的人工收录条目。按场景编排，不按热度——我们没有可信的流量数据，就不假装有排名。

全部 155 个工具

• RAGFlow ragflow.io · 读文档 · 开源自建 · 自建即离线 · 配套 skill
  开箱可用的知识库 / RAG 引擎，带文档解析和可视化切片，把公司文档变成能问答的库。
  短板：解析质量取决于你接的模型；部署是好几个容器，运维成本要走 IT。
• AnythingLLM anythingllm.com · 读文档 · 桌面 / 自建 · 自建即离线
  本地知识库里最省事的一个：桌面版导入文档就能问，也能接远端模型，适合先跑通再考虑上平台。
  短板：多人协作和权限弱；嵌入模型要自己挑，挑错会答非所问。
• FLUX github.com/black-forest-labs/flux · 出图 · 开源自建 / API · 自建即离线
  开源里质量第一档的文生图，能本地跑也能调 API，中文提示词理解不差。
  短板：本地跑要 24G 级显存；商用许可分档，落地前读许可证原文。
• ComfyUI comfy.org · 出图 · 开源自建 · 自建即离线 · 配套 skill
  节点式图像工作流，把生成、修复、放大串成一条线批量跑，重复出图最省事。
  短板：学习曲线陡；节点图不好维护，团队交接容易断。
• Whisper github.com/openai/whisper · 语音 · 开源自建 / CLI · 自建即离线
  语音转文字的事实标准，中文识别准，本地跑不联网，做会议和访谈转写先看它。
  短板：长音频要自己切；实时性差，生产环境别直接用原始实现。
• faster-whisper github.com/SYSTRAN/faster-whisper · 语音 · 开源自建 · 自建即离线 · 配套 skill
  Whisper 的高效实现：同精度下快数倍、显存占用更低，批量转写的实际选择。
  短板：要自己写服务层和队列；GPU 环境配不好会比原版还慢。
• Dify dify.ai · 搭 Agent · 开源自建 / SaaS · 国内直连 · 配套 skill
  可视化搭 LLM 应用：提示词、知识库、工作流、对外 API 一条龙，做问答机器人这类需求最快能落地。
  短板：复杂工作流要写代码节点；自建要 Redis 和向量库，运维别低估。
• n8n n8n.io · 搭 Agent · 开源自建 / SaaS · 自建即离线 · 配套 skill
  节点式自动化，接了几百个服务，把 AI 步骤塞进已有的业务流程里，不用从头写程序。
  短板：复杂流程调试麻烦；可持续使用许可对商用有约束，用前读原文。
• LangGraph github.com/langchain-ai/langgraph · 搭 Agent · 开源自建 · 自建即离线
  写有状态的 Agent 图：循环、人工确认、多智能体都能表达，是要长期维护的工程项目的首选。
  短板：抽象层多；调试体验要靠 LangSmith（付费），小项目会显得重。
• Ollama ollama.com · 本地跑模型 · 开源自建 · 自建即离线 · 配套 skill
  一条命令把模型拉到本机跑，自带 OpenAI 兼容接口，验证想法和做内网 demo 最快。
  短板：默认上下文短；并发能力弱，多人共用会排队。
• LM Studio lmstudio.ai · 本地跑模型 · 桌面 · 自建即离线 · 配套 skill
  图形化的本地推理，能直接看显存占用、上下文长度和每秒 token，买卡之前先拿它试。
  短板：闭源；服务端模式只适合个人和小团队，不能当企业底座。
• vLLM github.com/vllm-project/vllm · 本地跑模型 · 开源自建 · 自建即离线 · 配套 skill
  高吞吐推理服务，多人共用一个模型时的默认选择，提供 OpenAI 兼容接口。
  短板：PagedAttention 会预占显存，单卡跑大模型容易 OOM，得先算 KV cache。
• DuckDB duckdb.org · 数据与表格 · 开源自建 · 自建即离线 · 配套 skill
  单文件的分析型数据库，几千万行 CSV 直接 SQL 查，替代 pandas 做聚合快一个量级。
  短板：不是高并发写入的库；多人同时用要换别的方案。
• Stable Diffusion WebUI github.com/AUTOMATIC1111/stable-diffusion-webui · 出图 · 开源自建 · 自建即离线
  本地跑 Stable Diffusion 的图形界面，插件生态最全（ControlNet、LoRA、放大、局部重绘都从这儿长出来）。
  短板：环境依赖老，Python 一升级就崩；显存不足 8G 时很多插件根本跑不动。
• Fooocus github.com/lllyasviel/Fooocus · 出图 · 开源自建 · 自建即离线
  把 SDXL 那堆参数收起来的本地出图工具，写一句提示词就能出可用的图，适合不想学参数的人。
  短板：可调项太少，做不了精细控制；模型更新没跟上最新一代，写实度落后。
• CosyVoice github.com/FunAudioLLM/CosyVoice · 语音 · 开源自建 · 自建即离线
  阿里开源的多语言语音合成，几秒参考音频就能克隆音色，中文韵律比多数开源 TTS 自然。
  短板：要显卡；克隆效果高度依赖参考音频质量，情绪和语速控制仍然有限。
• GPT-SoVITS github.com/RVC-Boss/GPT-SoVITS · 语音 · 开源自建 · 自建即离线
  用一分钟素材就能训出很像的克隆音色，中文社区的教程和整合包最全，配音复刻常用。
  短板：训练要自己备数据、调参数；生成长文本偶发破音，商用还要看素材授权。
• FastGPT fastgpt.cn · 搭 Agent · 开源自建 · 国内直连
  知识库加工作流一体的开源平台，中文文档齐全，企业内网搭客服和文档问答最常见的选择。
  短板：检索效果很吃切块参数，默认配置直接用会答偏；流程一复杂，调试面板很难跟。
• Flowise flowiseai.com · 搭 Agent · 开源自建 · 自建即离线
  拖节点搭 LLM 流程，从客服到文档问答都能连线完成，导出后就是一个 API 端点。
  短板：节点一多画布就乱，版本升级常带破坏性改动，老流程要重连。
• SGLang github.com/sgl-project/sglang · 本地跑模型 · 开源自建 · 自建即离线
  高吞吐推理服务框架，结构化输出和前缀缓存做得比 vLLM 更激进，批量任务吞吐明显占优。
  短板：只支持特定模型结构，冷门模型要等适配；版本之间破坏兼容是常事。
• Open WebUI openwebui.com · 本地跑模型 · 开源自建 · 自建即离线
  给 Ollama 或任意 OpenAI 兼容接口套一个多用户网页界面，账号、知识库、工具调用都有现成的。
  短板：功能堆得多，配置项藏在多层菜单里；多用户上线还要自己接 OIDC 和对象存储。
• Metabase metabase.com · 数据与表格 · 开源自建 · 自建即离线
  连上数据库就自动生成看板，非技术的同事也能自己拖图、下钻，内网 BI 最省事的落地方式。
  短板：复杂指标还是得写 SQL；问答式 AI 查询只在云版有，自建版缺这块。
• DB-GPT github.com/eosphoros-ai/DB-GPT · 数据与表格 · 开源自建 · 自建即离线
  把数据问答、SQL 生成、报表做成一套可自建的平台，中文友好，能在内网对着业务库直接问数。
  短板：部署组件多（向量库、模型、服务），第一次搭起来要一整天；问数准确率依赖表注释质量。
• Data Formulator github.com/microsoft/data-formulator · 数据与表格 · 开源自建 · 自建即离线
  微软研究院做的可视化工具，用自然语言描述想要的图表，它自动生成转换步骤并画出来，步骤可回看。
  短板：还偏研究原型，复杂多表关联容易出错；界面英文，文档不多。
• Khoj khoj.dev · 读文档 · 开源自建 · 自建即离线
  自建的第二大脑：把笔记、文档、网页索引进去，用自然语言问，也能排日程、建提醒。
  短板：首次索引很慢；中文文档切分一般，长文问答经常给不到关键那段，得自己换切块策略。
• WeKnora weknora.weixin.qq.com · 读文档 · 开源自建 · 国内直连
  腾讯开源的文档知识库：上传 PDF/Word/网页自动切成段落做 RAG，问答界面和 API 都给好了。
  短板：部署要拉起解析服务、向量库、模型好几套组件；官方文档偏薄，出问题基本只能读代码。
• GraphRAG microsoft.github.io/graphrag · 读文档 · 开源自建 · 自建即离线
  微软的图检索方案：先把文档抽成实体和关系图，再按社区摘要回答「这批材料主要在讲什么」这类全局问题。
  短板：建图极费 token（一本书能烧掉几十美元）；语料少的时候效果还不如普通向量检索，别一上来就上。
• LobeChat lobehub.com · 通用对话 · 开源自建 · 国内直连
  开源的 ChatGPT 风格界面：多模型、插件、MCP、知识库、语音齐活，团队自建一套对话入口最省事。
  短板：功能堆得多，部署要数据库加对象存储；大版本升级常要迁移数据，自己维护得跟得住。
• InvokeAI invoke-ai.github.io · 出图 · 开源自建 · 自建即离线
  本地出图工作台，统一画布做局部重绘和拼图最顺手，工作流能存下来复用，比纯节点式好上手。
  短板：装环境比 ComfyUI 还重；显存不够时大模型和高分辨率都别想，UI 也比 ComfyUI 慢一点。
• HunyuanVideo aivideo.hunyuan.tencent.com · 出视频 · 开源自建 · 国内直连
  腾讯开源的大视频模型，权重能自己下，画面质感和运动幅度在开源里属于前列。
  短板：官方推荐 80G 级显存，普通卡只能跑量化版而且很慢；生成一条要十几分钟，不适合反复抽卡。
• ArcReel arc-reel.com · 出视频 · 开源自建 · 国内直连
  开源的 AI 视频工作台：把小说或剧本拆成角色、场景、分镜，生成素材后直接导出剪映草稿。
  短板：全流程要配好几家供应商的 key，任一环节失败整段重跑；角色一致性还是靠反复抽卡。
• FunASR funasr.com · 语音 · 开源自建 · 国内直连
  阿里达摩院开源的语音识别工具包，中文识别、标点、说话人分离都有现成模型，适合自建转写服务。
  短板：要自己套一层服务；长音频得先切分，实时流式配置比离线麻烦不少。
• sherpa-onnx k2-fsa.github.io · 语音 · 开源自建 · 自建即离线
  端侧语音工具箱：离线 ASR、TTS、说话人分离都有，能编进 Android/iOS/桌面，不联网也能转写。
  短板：文档散在几个仓库里，模型要自己下载和转换；中文大模型效果好但体积也大，打包进去要算好。
• Dograh app.dograh.com · 语音 · 开源自建 · 需海外网络
  开源的语音 AI 平台，可自建的 Vapi / Retell 替代品：接电话、跑对话流程、记录通话都能自己控。
  短板：自建要把 STT、LLM、TTS 三家都配好，延迟调优很费劲；中文客服场景的资料几乎没有。
• Unsloth unsloth.ai · 本地跑模型 · 开源自建 · 自建即离线
  微调加速库，同样一张卡能让 LoRA 训练快一倍、显存省一大截，单卡玩家练小模型最常用。
  短板：只支持部分模型结构，冷门架构要自己改代码；多卡支持弱，规模一上来就得换框架。
• LlamaFactory llamafactory.readthedocs.io · 本地跑模型 · 开源自建 · 自建即离线
  一站式微调框架，100 多个模型的 SFT、DPO、续训都有现成脚本，命令行和网页界面都给了。
  短板：配置项极多，第一次跑要照着文档逐项对；数据格式错一行就报看不懂的错，排查全靠经验。
• LocalAI localai.io · 本地跑模型 · 开源自建 · 自建即离线
  本地自建的 OpenAI 兼容服务，文本、图像、语音、重排一个端点接完，换模型不用改客户端。
  短板：镜像不小、启动慢；不同模型的兼容性参差，出问题多半只能翻日志自己排。

换个标签看：开源 · 需海外网络 · 中文优先 · 免费额度 · 免费可用 · 图像生成 · 编程 Agent · 知识库问答 · 文档解析 · IDE 插件 · 批量处理 · 深度检索 · 语音合成 · 转写 · 多模型 · 本地推理 · 文生视频 · 引用可追溯 · 表格分析 · 图生视频 · 工作流编排 · 机器人搭建 · API 网关 · 数据查询 · 终端 CLI · 多文件重构 · 长文档 · 写作办公 · 自动化 · 建站 · 设计协作 · 桌面应用 · 会议纪要 · UI 生成 · OCR 扫描件 · 学术检索 · 演示文稿 · 图生图 · 剪辑 · 编程框架 · 仓库问答 · 沙箱隔离 · 数字人 · 推理服务 · 格式转换 · 语音克隆 · 网页抓取 · 微调 ·