爬虫（七）：爬取扇贝图书+Selenium+Phantomjs+反爬措施及其应对

文章目录 1、反爬措施以及对应措施 1. 经过user-agent客户端表示来判断是否为爬虫 2.经过访问频率来判断 3.封ip 4. 页面的内容没法直接获取数据，页面都是js代码 2、动态html页面的处理方法 3、selenium+phantomjs 1.了解 2.下载selenium 3.下载两个插件phantomjs和Chromeedriver ①phantomjs环境变量的配置 ②安装c

>>阅读原文<<