投稿 提交工具 投放合作

anycrawl:爬取与内容提取工具包

大语言模型 3.6k(+7) 378 TypeScript 2026-11-21 在 GitHub 打开

高性能爬取与抓取工具包,支持SERP、单页抓取、整站遍历和LLM结构化提取。

AnyCrawl 是一个高性能爬取与抓取工具包,提供 SERP 搜索爬取、单页内容抓取、整站遍历三类能力,支持多线程/多进程与批量任务,并可用 LLM 从页面提取结构化 JSON 数据。抓取引擎可选 cheerio(静态解析)、playwright 或 puppeteer(JS 渲染);自托管时后两者默认经 CloakBrowser 启动,要求 Node.js 20+,浏览器指纹与视口采用其原生默认值,进程按代理 URL 复用、页面上下文隔离。支持 HTTP/SOCKS 代理、缓存控制(max_age、store_in_cache),可按代理解析时区与语言,也可显式指定或关闭。启用认证后通过 API Key 以 Bearer 方式调用,可 Docker 部署。

Star 趋势2026-11-08 — 2026-11-20当前 Stars 3.6k24h +77 日 +46

3.5k3.6k11-0811-1111-1211-1311-1411-1511-1611-1711-1811-20