爬虫与反爬虫

基本概念说明 爬虫：自动获取网站数据的程序，关键是批量获取。 反爬虫：使用技术手段防止爬虫程序的方法。 误伤：反爬技术将普通用户识别为爬虫，如果误伤过高，效果再好也不能用。 比如：系统检测到有一个IP频繁的访问一个网站，那么可以直接禁止该IP访问。一般网站是不会采取这种方式的，为什么呢？一个学校或者一个网吧，它对外的IP只有一个或者几个，所有学校里面都是内部的局域网，某个学生写了一个爬虫，发送出去

>>阅读原文<<