如何实现一个分布式的爬虫

Issue 欢迎在 Gtihub Issue 中回答此问题: Issue 260

Author 回答者: shfshanyue

可以通过 redis 实现一个分布式的 url 调度器 (Set)，多个分布式爬虫的爬取器从调度器中统一取地址进行爬取