隐藏链接反爬虫

隐藏链接反爬虫定义 隐藏连接反爬虫指的是在网页中隐藏用于检测爬虫程序得链接手段。被隐藏得链接不会显示在页面中，正常用户无法访问，但是爬虫程序有可能将该链接放入待爬队列，并向该链接发起请求。开发者可以利用这个特点区分正常用户和爬虫程序。 举例 刚我们访问某个网站得列表页时，为了拿到详情页得内容，我们需要将列表页得所有url加入到待爬取得队列中，在网页的列表div中加入对应的CSS样式，混入页面不显示

>>阅读原文<<