使用PhantomJS+Selenium动态爬取

动态爬取使用PhantomJS+Selenium 很多网站通常会用到Ajax和动态HTML技术,因而只是使用基于静态页面爬取的方法是行不通的。辨别是否是动态网站最简单的方法,浏览器中查看页面相应的内容、当在查看页面源代码时找不到该内容时就可以确定该页面使用了动态技术。 环境搭建 安装Selenium,pip install selenium 下载phantomjs,解压然后在调用时执行路径exec
相关文章
相关标签/搜索