GitHub:github.com/imWildCat/s…
中文文档:scylla.wildcat.io/zh/latest/
自己是一个爬虫爱好者,有时候爬虫写的太过强大了被目标网站封了(笑)。所以就萌生了用代理 IP 的想法。很可惜很多开源代理 IP 池都是没有持续维护的,代码也比较奇怪。于是自己就写了一个。特性大概有:
- 自动化的代理 IP 爬取与验证
- 易用的 JSON API
- 简单但美观的 web 用户界面,基于 TypeScript 和 React (例如,代理的地理分布)
- 最少仅用 一条命令 即可启动
- 无头浏览器( headless browser crawling )爬虫
附:几个截图 demo
截图 1: Web UI (代理 IP 列表)
截图 2: Web UI (代理 IP 的地理分布)