NetDiscovery 轻量级爬虫框架
基于 Vert.x 与 RxJava 2 实现的轻量级爬虫框架，模块化设计、易扩展，支持多种消息队列与网络框架，可用于分布式、多机部署的抓取场景。
NetDiscovery 是一个用 Java 编写的轻量级爬虫框架，底层依托 Vert.x、RxJava 2 等框架构建。据资料显示，它采用模块化设计，便于按需扩展，支持多种消息队列和网络框架，并具备分布式、多机部署的能力。仓库 topics 中列出的关键词包括协程、Disruptor、DSL、HtmlUnit、Kafka、Kotlin、Lettuce 等，可以看出其技术选型覆盖了异步处理、HTML 解析与消息中间件等爬虫常见环节。适合需要搭建可扩展抓取系统的开发者参考与二次开发，具体使用方式可查阅仓库文档。