投稿 提交工具 投放合作

Scrapling:Python 网页抓取框架

数据分析 104.8k(+195) 10.9k Python 2026-11-21 访问官网 ↗ 在 GitHub 打开

集快速 HTTP 请求、隐身浏览器、解析与并发爬虫于一体的 Python 抓取框架,支持 CLI 与 MCP。

Scrapling 是一个 Python 网页抓取框架,把 HTTP 请求、隐身浏览器、解析与并发爬取合在一个库里:可抓静态页、渲染 JavaScript、处理 Cloudflare Turnstile/拦截页、捕获后台 API 请求;解析支持 CSS、XPath、文本与正则搜索、自适应元素追踪、相似元素匹配和干净的 Markdown 输出。爬虫部分提供类 Scrapy 的 Spider API、并发抓取、代理轮换、自动重试、AutoThrottle(按站点响应速度自动调节延迟)、暂停/恢复(crawldir)、流式输出与 robots.txt 遵循,并内置 CrawlSpider、SitemapSpider、ShopifySpider 等模板及 JSON/JSONL/CSV/XML 导出。除 Python 库外还提供 CLI、交互式 shell、供 AI 代理使用的 MCP 服务器和 Agent Skill。

Star 趋势2026-11-08 — 2026-11-21当前 Stars 105k24h +1957 日 +2k

99k102k105k11-0811-1211-1411-1611-1811-21