关于服务端反爬虫的限制及告警方案

前言         当前对于一些大型网站的开放式服务，有相当一部分流量都是爬虫程序导致，大概占比在20%左右，爬虫程序会增加服务端数据及流量开销、内部资料外泄等很多问题。         反爬虫也成了当前服务端需要关注的一些问题，其中笔者所在的组内就遇到了被爬虫程序恶意爬取免费资源的问题，因此开始研究关于反爬虫的限流方案及对应类似爬虫程序的告警方案。 正文         本反爬虫方案主要包括封

>>阅读原文<<