Crawl4AI

crawl4ai.com · 搜索与研究 · 开源自建 · 开源免费 · 自建即离线

开源的 LLM 友好爬虫，输出干净 Markdown 和结构化抽取结果，支持异步批量，接进自建流水线最顺手。

短板：动态页面要自己配 Playwright；反爬强的站照样被封，重试和限速策略都得自己写。

这个站点还没有截图：抓取时被拦截或页面没渲染出来，所以这里不放图——不放空的图框，也不放别人的截图。

访问站点 ↗

网页抓取开源批量处理

同样用来「搜索与研究」的其它选择

• Perplexity — 带出处引用的 AI 搜索，问完能顺着链接自己核对，做调研的第一站。
• 秘塔 AI 搜索 — 国内直连的 AI 搜索，有学术和长报告模式，中文长尾资料比通用搜索好找。
• Exa — 给 AI 用的语义搜索 API：按意思找网页而不是靠关键词，做 Agent 的检索层很合适。

← 全部 155 个工具 · 自建选型矩阵 · 痛点专题