利用selenium爬取Axaj和动态网页

前言 咱们知道python爬虫，通常小爬虫requests+beautifulSoup，分布式爬虫用Scrapy，咱们通常用requests来的方便，可是有的时候你会发现有些网页信息（好比用户评论），用requests是没法获取的，这些javascript管理的动态内容怎样提取？ 这就引入咱们今天的主角selenium。 AJAX即“Asynchronous Javascript And XML”

>>阅读原文<<