# 如何实现一个分布式的爬虫

Issue

欢迎在 Issue 中交流与讨论: Issue 260 (opens new window)

可以通过 redis 实现一个分布式的 url 调度器 (Set),多个分布式爬虫的爬取器从调度器中统一取地址进行爬取

Last Updated: 1/17/2021, 2:02:56 PM