# 反爬虫有哪些策略

Issue

欢迎在 Issue 中交流与讨论: Issue 468 (opens new window)

# 01 Referer: 当前页面的访问源

Referer 指当前请求页面的来源页面的地址,用以判断当前页面的访问源。一般用以反爬,比如图片防盗链通过判断 Referer 是否目标网站而对图片替换为禁止标志的图片。

# 02 User-Agent: 当前页面的用户代理,如浏览器等

User-Agent 指请求当前页面的用户代理,用以标识请求方环境,如浏览器等,如果没有这个字符串可以视为爬虫。同时为了避免伪造用户代理,可以对 User-Agent 进行限流,但同时也有随机生成 UA 的库

# 03 Rate-Limit: 限流

  • 对 IP 地址进行限流
  • 对 UA 进行限流
Last Updated: 1/17/2021, 2:02:56 PM