极客时间返利平台,你可以在上边通过山月的链接购买课程,并添加我的微信 (shanyue94) 领取返现。

# 在服务端反爬虫有哪些策略

更多描述

在服务端反爬/防爬有哪些策略

Issue

欢迎在 Gtihub Issue 中回答此问题: Issue 468 (opens new window)

# 01 Referer: 当前页面的访问源

Referer 指当前请求页面的来源页面的地址,用以判断当前页面的访问源。一般用以反爬,比如图片防盗链通过判断 Referer 是否目标网站而对图片替换为禁止标志的图片。

# 02 User-Agent: 当前页面的用户代理,如浏览器等

User-Agent 指请求当前页面的用户代理,用以标识请求方环境,如浏览器等,如果没有这个字符串可以视为爬虫。同时为了避免伪造用户代理,可以对 User-Agent 进行限流,但同时也有随机生成 UA 的库

# 03 Rate-Limit: 限流

  • 对 IP 地址进行限流
  • 对 UA 进行限流
Last Updated: 11/27/2021, 6:11:48 PM