极客时间对于推广渠道会有返利优惠,比如山月在极客时间买了一门课,再把课程分享给好友购买,这时极客时间会向山月返利20元左右。
而我现在做了一个返利平台,你可以在上边通过山月的链接购买课程,此时极客时间会向我返利。为了共同学习,而你可以添加我的微信 (shanyue94),我将把极客时间给我的返利发一个红包全部返给你

# 反爬虫有哪些策略

Issue

欢迎在 Issue 中交流与讨论: Issue 468 (opens new window)

# 01 Referer: 当前页面的访问源

Referer 指当前请求页面的来源页面的地址,用以判断当前页面的访问源。一般用以反爬,比如图片防盗链通过判断 Referer 是否目标网站而对图片替换为禁止标志的图片。

# 02 User-Agent: 当前页面的用户代理,如浏览器等

User-Agent 指请求当前页面的用户代理,用以标识请求方环境,如浏览器等,如果没有这个字符串可以视为爬虫。同时为了避免伪造用户代理,可以对 User-Agent 进行限流,但同时也有随机生成 UA 的库

# 03 Rate-Limit: 限流

  • 对 IP 地址进行限流
  • 对 UA 进行限流

关于山月

我的项目:
我的微信:shanyue94,欢迎交流
Last Updated: 2/24/2021, 8:56:13 AM