小爬爬2.回顾

1.爬虫三种分类: 通用爬虫:爬取整个页面的数据 聚焦爬虫:爬取经过筛选过滤后的数据,基于一张页面的局部内容. 增量式爬虫:爬虫监测网站更新后的数据,   2.什么是UA检测,如何**? UA检测:服务器会用来通过获取请求,通过请求获取请求头中的UA,通过判定UA的值,知道请求的载体身份标识.   将爬虫程序发起请求的信息,伪装成浏览器的请求 UA检测是一种反爬机制,反爬对应的是门户网站, 反反爬

>>阅读原文<<