# 如何实现一个分布式的爬虫

Issue

欢迎在 Issue 中交流与讨论: Issue 260

Author

回答者: shfshanyue

可以通过 redis 实现一个分布式的 url 调度器 (Set),多个分布式爬虫的爬取器从调度器中统一取地址进行爬取

扫码关注公众号全栈成长之路,并发送

即可在关注期间无限制浏览本站全部文章内容

你也可以在文章关于回复公众号扫码解锁全站的技术实现中获得解锁代码,永久解锁本站全部文章

Last Updated: 4/8/2020, 11:41:42 PM