网络爬虫工具类开源软件按 GitHub 星标排行

网络爬虫工具类目,依 GitHub 星标由高到低排序,共 8 款

抓取与采集类项目,长期维护的主要成本是应对反爬。

1phoneinfoga 18.0kPhoneInfoga 用于收集电话号码相关信息,支持国际号码,可判断国家、运营商和线路类型,还会尝试找出 VoIP 提供商或号码持有人。Go 2024.02.212feroxbuster 8.2kRust 编写的快速递归内容发现工具,适用于强制浏览和目录枚举,上手简单。Rust 2026.11.123bitmagnet 4.4k能自己架设的磁力与种子索引服务:抓取 DHT 网络、对内容分类,再提供种子搜索;有网页界面和 GraphQL 接口,也可挂进 Servarr 那一套工具。Go 2026.05.214wayback 2.3k网页归档工具,核心是一个类似即时通讯的界面,背后接入多种存档服务,如互联网档案馆、去中心化的 IPFS,以及 Archive 家族的 today 站点,在意隐私,也在意可访问性。Go 2026.07.055SpiderSuite 981面向安全从业者的新型跨平台 Web 爬虫,功能很丰富。 2026.08.016siteone-crawler 938适合做 SEO、安全、可访问性与性能优化的网站爬虫兼分析工具,用 Rust 写成,跨平台,单个二进制文件,运行时零依赖。Rust 2026.06.277nimbus-eth2 669Nim 语言写的信标链客户端,属于以太坊的共识层实现;树莓派之类配置不高的设备是它的主要目标,内存与算力开销都压得很低。Nim 2026.11.098crawley 339网络爬虫类工具,设计上贴近 Unix 的做事方式:HTML 由 SAX 流式解析,页面里的链接、图片、视频,连同 JS 与 CSS 内的 API 端点都会被抽取出来;可做深度扫描,守 robots.txt 规则,并能走需要认证的代理。Go 2026.06.12