Crawl4AI：面向AI的开源网页爬取库
Apache-2.0许可的Python爬虫库，把网页转成LLM友好的Markdown并支持结构化抽取。
Crawl4AI 是一个 Apache-2.0 许可的开源爬虫（本仓库即其源码），面向 AI 代理与数据管线，把网页转成适合 LLM 阅读的干净 Markdown（保留标题、表格、代码块，可过滤导航等样板内容），并支持结构化数据抽取：CSS/XPath/正则模式免 LLM 抽取，或用任意 LLM 按类型化 JSON schema 抽取。浏览器控制涵盖持久化配置、CDP 远程浏览器、会话、代理轮换、隐身模式与 Chromium/Firefox/WebKit；爬取能力包括深爬（BFS/DFS/最佳优先，可断点恢复）、自适应爬取、URL 发现、动态页面渲染、截图与 PDF、批量并发抓取与缓存。可作为 Python 库在本地运行，或用 Docker 自托管 REST API 与 MCP 服务；另有托管版 Crawl4AI Cloud 提供搜索等额外接口。