AI 私有化 / 自建方案选型矩阵

按「能不能纯内网跑、要不要显卡、部署难不难、许可能不能商用」筛出可落地的方案。字段全部来自用户真实抱怨与项目公开文档，不使用流量估算数据。

怎么用这张表

先定硬约束：能不能纯内网、有没有 GPU、是否必须处理扫描件。
再看部署难度：1 是装上就能用，5 是要有运维才敢上。
最后看许可：AGPL/GPL 会给商业闭源产品带来传染风险，MIT/Apache 才敢嵌进自己的产品。
选 2~3 个组合验证，别指望一个项目解决全部问题——通常是推理服务 + 应用平台 + 文档解析三层拼起来。

方案清单

推理服务

Ollama（单机 · MIT · 显存 8G · 难度 1）— 一条命令拉模型在本机跑，GGUF 量化，Mac/Win/Linux 通用，自带 OpenAI 兼容接口。注意：默认上下文短；长文档要显式调大 context 并确认显存够，否则会被静默截断。
llama.cpp（单机 · MIT · 显存无 · 难度 2）— 最底层也最省的推理实现，纯 CPU 也能跑，量化格式的事实标准（GGUF 就是它定义的）。注意：没有现成界面，模型管理全靠命令行；团队用要自己在上面套壳。
vLLM（Docker · Apache-2.0 · 显存 24G+ · 难度 3）— 高吞吐推理服务，提供 OpenAI 兼容 API，多人共用一个模型服务时的默认选择。注意：PagedAttention 会预占显存，单卡跑大模型要先算 KV cache，容易 OOM。
SGLang（Docker · Apache-2.0 · 显存 24G+ · 难度 4）— 面向高并发的推理引擎，前缀缓存和结构化输出做得好，适合接口型负载。注意：版本迭代快，和特定模型/显卡的兼容矩阵要现查，不适合当稳定底座。
Xinference（Docker · Apache-2.0 · 显存 8G · 难度 2）— 把 LLM / embedding / rerank 统一挂在一个服务后面，对外一套 OpenAI 风格 API。注意：模型能力不如手调 vLLM，重负载场景性能有差距。
LM Studio（桌面端 · 闭源 · 显存 8G · 难度 1）— 图形化本地推理，能直接看到显存占用、上下文长度和每秒 token，买硬件前先拿它试。注意：闭源；服务端模式只适合个人或小团队试用，不能当企业底座。

应用平台

Dify（Docker · 开源（商用有限制） · 显存无 · 难度 3）— 可视化编排工作流 / Agent / 知识库，社区版可完全自托管，接外部模型也行。注意：compose 起步就是七八个容器；镜像源、版本兼容是最常见的坑。
RAGFlow（Docker · Apache-2.0 · 显存 8G · 难度 3）— 以深度文档解析为卖点的 RAG 引擎，中文 PDF、表格、扫描件处理是它的强项。注意：解析模板与切分选错会拖垮召回；升级前一定要在测试库跑检索测试比对。
FastGPT（Docker · 开源（商用有限制） · 显存 4G · 难度 3）— 知识库问答 + 可视化流程编排，中文文档齐全，接国内模型顺手。注意：开源版与企业版功能有差异，选型前先看版本对照表，别按官网截图评估。
毕昇 Bisheng（K8s · Apache-2.0 · 显存 16G · 难度 4）— 国产企业级平台：模型管理、知识库、工作流、应用发布都在一套里，面向内网部署设计。注意：组件多、部署门槛高，没有运维的团队不建议直接上。
Open WebUI（Docker · 开源（带品牌条款） · 显存无 · 难度 2）— 给 Ollama / vLLM 套一个多用户网页端：账号、历史会话、模型切换、文件对话。注意：权限模型粗，直接暴露到公网有风险，务必挂在内网并单独做鉴权。
AnythingLLM（桌面端 · MIT · 显存 8G · 难度 1）— 桌面端拖文件建本地知识库，零代码起步，也能跑服务端模式给团队用。注意：桌面版适合个人；文档解析能力比 RAGFlow 弱，复杂表格容易糊。
MaxKB（Docker · GPL-3.0 · 显存 4G · 难度 2）— 开源知识库问答系统，1Panel 生态配套，中文界面开箱即用。注意：GPL 传染性要评估：二次开发或嵌入商业产品前先过法务。
LibreChat（Docker · MIT · 显存无 · 难度 2）— 多用户 ChatGPT 式界面，能接本地模型和外部模型，账号体系比 Open WebUI 细。注意：它只是聊天壳，知识库和流程编排要另外接。

文档解析

MinerU（Docker · AGPL-3.0 · 显存 8G · 难度 2）— PDF 转结构化 Markdown/JSON，专治扫描件、公式、表格和乱版式，可完全本地跑。注意：解析是重活，批量几百份要排队；AGPL 对商业闭源产品有限制。
PaddleOCR / PP-StructureV3（单机 · Apache-2.0 · 显存 8G · 难度 2）— 中文 OCR 与版面还原的事实标准，发票、表格、证件识别可直接本地跑。注意：纯 OCR 和版面还原是两件事，表格结构要单独开结构化模型。
Docling（单机 · MIT · 显存无 · 难度 2）— IBM 开源的多格式文档解析（PDF/DOCX/PPTX/HTML），版面和表格结构还原完整。注意：中文复杂版式不如国内方案，扫描件质量差时准确率下降明显。
Marker（单机 · GPL-3.0（商用需授权） · 显存 8G · 难度 2）— PDF → Markdown 速度快、公式与表格还原好，适合大批量技术文档。注意：中文支持一般；商用闭源必须单独买授权，GPL 不能直接嵌产品。
Unstructured（Docker · Apache-2.0（核心） · 显存无 · 难度 2）— 文档切分的事实标准库，格式覆盖最全，很多 RAG 产品的解析层就是它。注意：切分策略要自己调；中文语义切分不如专门方案，需配合重排。
olmOCR（单机 · Apache-2.0 · 显存 24G+ · 难度 3）— Allen AI 的 PDF 线性化模型，学术论文和复杂版式还原质量高。注意：吃显存，且英文向；中文场景要另做评测再决定。

语音识别

FunASR（单机 · MIT · 显存 8G · 难度 2）— 阿里达摩院的中文语音识别，带标点和说话人分离，离线可跑。注意：长音频要自己切分和拼接，热词表要按业务调，否则专有名词错得离谱。
whisper.cpp（单机 · MIT · 显存无 · 难度 1）— Whisper 的 C++ 实现，纯 CPU 也能转写，部署成本几乎为零。注意：没标点、没说话人分离，中文专有名词准确率低于国内方案。

模型网关

One API / New API（Docker · MIT · 显存无 · 难度 2）— 多模型统一网关：一个 key、一套额度、按人计费，内网多模型场景的常见做法。注意：只管转发不管质量；模型路由和降级要自己做。
LiteLLM（Docker · MIT · 显存无 · 难度 2）— 把几百个模型的接口统一成 OpenAI 格式，带重试、回退、成本统计。注意：Python 服务，高并发下要自己压测；配置项多，容易配错路由。

向量库

Qdrant（Docker · Apache-2.0 · 显存无 · 难度 2）— Rust 写的向量库，单机 Docker 一条命令起来，带过滤检索和混合检索。注意：分片与内存规划要提前算；数据量大时内存占用比预期的凶。
Infinity（Docker · MIT · 显存 4G · 难度 2）— embedding / rerank 推理服务，把检索模型单独架起来给多个应用共用。注意：只管模型推理，不存向量；要配向量库一起用。

共 26 个方案。价格与配额随时变化，许可与商用条款请以仓库/官网为准。