# 爬虫如何实现一个去重器
Issue
欢迎在 Gtihub Issue 中回答此问题: Issue 261 (opens new window)
Author
urlMap[url,hash(data)] urlSet[fullURL] urlMap 存不包含查询字符串的 url,data 相同也不存储 urlSet 存完整 url,即 Map 里没有查询到,则通过完整 url 去重
Issue
欢迎在 Gtihub Issue 中回答此问题: Issue 261 (opens new window)
Author
urlMap[url,hash(data)] urlSet[fullURL] urlMap 存不包含查询字符串的 url,data 相同也不存储 urlSet 存完整 url,即 Map 里没有查询到,则通过完整 url 去重