爬虫面试题总结

反爬有哪些? 一、识别用户身份: user_agent、 cookies、 referer、 验html 证码 二、识别用户行为: 并发量(IP和cookies)、 在线时间、 只请求html或ajax等部分类型数据、 蜜罐(设置一些正经常使用户不会点击的连接,但爬虫能爬到,一旦访问,IP暴露)、 经过机器学习分析是否想爬虫 三、动态数据加载: ajax jsweb
相关文章
相关标签/搜索