ScrapeGraphAI：基于LLM的图逻辑爬虫库
用LLM和图逻辑构建爬虫流水线的Python库，通过自然语言描述目标信息即可抓取网页和本地文档。
ScrapeGraphAI 是一个 Python 网页抓取库，用 LLM 与图逻辑（graph pipeline）构建抓取流程，用户只需用自然语言说明要提取的信息，即可处理网站及本地文档（XML、HTML、JSON、Markdown 等）。提供多种流水线：SmartScraperGraph 单页抓取、SearchGraph 抓取搜索结果前 n 页、SmartScraperMultiGraph 多页多源抓取、SpeechGraph 生成音频、ScriptCreatorGraph 生成 Python 脚本，各流水线还有并行调用 LLM 的 multi 版本。LLM 可选 OpenAI、Groq、Azure、Gemini 等 API 或经 Ollama 使用本地模型，浏览器渲染由 Playwright 自行配置。与托管云 API（scrapegraph-py / scrapegraph-js）分工明确：开源库自托管、自带 LLM 密钥，代理与反爬、扩展维护均由用户负责。另提供 LangChain、LlamaIndex、Crew.ai 等框架集成及 MCP server。