在服务端反爬虫有哪些策略
更多描述 在服务端反爬/防爬有哪些策略
Issue 欢迎在 Gtihub Issue 中回答此问题: Issue 468
Author 回答者: shfshanyue
01 Referer: 当前页面的访问源
Referer 指当前请求页面的来源页面的地址，用以判断当前页面的访问源。一般用以反爬，比如图片防盗链通过判断 Referer 是否目标网站而对图片替换为禁止标志的图片。
02 User-Agent: 当前页面的用户代理，如浏览器等
User-Agent 指请求当前页面的用户代理，用以标识请求方环境，如浏览器等，如果没有这个字符串可以视为爬虫。同时为了避免伪造用户代理，可以对 User-Agent 进行限流，但同时也有随机生成 UA 的库
03 Rate-Limit: 限流
- 对 IP 地址进行限流
- 对 UA 进行限流