批量处理:9 个工具,各自的短板都写清楚
标签「批量处理」下的人工收录条目。按场景编排,不按热度——我们没有可信的流量数据,就不假装有排名。
全部 155 个工具
- MinerU mineru.net · 读文档 · 开源自建 / CLI · 自建即离线 · 配套 skill
把 PDF 转成 Markdown / JSON:扫描件、双栏论文、复杂表格基本保形,公式也认得出来。给知识库喂文档的第一步就用它。
短板:成批处理要自己写队列;极其复杂的版式仍会错行,转完要抽检。 - Docling github.com/docling-project/docling · 读文档 · 开源自建 · 自建即离线
IBM 出的文档解析库,PDF / DOCX / PPTX 统一转成结构化数据,自带版面分析和表格结构,适合写进自己的流水线。
短板:表格还原不如 MinerU 激进;大文件很慢,要配并发。 - RAGFlow ragflow.io · 读文档 · 开源自建 · 自建即离线 · 配套 skill
开箱可用的知识库 / RAG 引擎,带文档解析和可视化切片,把公司文档变成能问答的库。
短板:解析质量取决于你接的模型;部署是好几个容器,运维成本要走 IT。 - Whisper github.com/openai/whisper · 语音 · 开源自建 / CLI · 自建即离线
语音转文字的事实标准,中文识别准,本地跑不联网,做会议和访谈转写先看它。
短板:长音频要自己切;实时性差,生产环境别直接用原始实现。 - faster-whisper github.com/SYSTRAN/faster-whisper · 语音 · 开源自建 · 自建即离线 · 配套 skill
Whisper 的高效实现:同精度下快数倍、显存占用更低,批量转写的实际选择。
短板:要自己写服务层和队列;GPU 环境配不好会比原版还慢。 - vLLM github.com/vllm-project/vllm · 本地跑模型 · 开源自建 · 自建即离线 · 配套 skill
高吞吐推理服务,多人共用一个模型时的默认选择,提供 OpenAI 兼容接口。
短板:PagedAttention 会预占显存,单卡跑大模型容易 OOM,得先算 KV cache。 - Marker github.com/datalab-to/marker · 读文档 · CLI · 自建即离线
把 PDF、扫描件批量转成 Markdown,公式、表格、图片位置都尽量保住,是给 RAG 做前置清洗的常用选择。
短板:首次运行要下模型;版面花哨的杂志页仍会把表格拆散,重要文档必须人工校一遍。 - Unstructured unstructured.io · 读文档 · 开源自建 / API · 自建即离线
把 PDF、Word、HTML、邮件切成带类型(标题/正文/表格/列表)的段落块,直接喂进向量库。
短板:高质量模式要装一堆 OCR 与版面模型和系统依赖;默认切块参数几乎一定要按自己的文档调。 - Crawl4AI crawl4ai.com · 搜索与研究 · 开源自建 · 自建即离线
开源的 LLM 友好爬虫,输出干净 Markdown 和结构化抽取结果,支持异步批量,接进自建流水线最顺手。
短板:动态页面要自己配 Playwright;反爬强的站照样被封,重试和限速策略都得自己写。
换个标签看:开源 · 需海外网络 · 中文优先 · 本地部署 · 免费额度 · 免费可用 · 图像生成 · 编程 Agent · 知识库问答 · 文档解析 · IDE 插件 · 深度检索 · 语音合成 · 转写 · 多模型 · 本地推理 · 文生视频 · 引用可追溯 · 表格分析 · 图生视频 · 工作流编排 · 机器人搭建 · API 网关 · 数据查询 · 终端 CLI · 多文件重构 · 长文档 · 写作办公 · 自动化 · 建站 · 设计协作 · 桌面应用 · 会议纪要 · UI 生成 · OCR 扫描件 · 学术检索 · 演示文稿 · 图生图 · 剪辑 · 编程框架 · 仓库问答 · 沙箱隔离 · 数字人 · 推理服务 · 格式转换 · 语音克隆 · 网页抓取 · 微调 ·