在python使用selenium获取动态网页信息并用BeautifulSoup进行解析--动态网页爬虫

爬虫抓取数据时有些数据是动态数据，例如是用js动态加载的，使用普通的urllib2 抓取数据是找不到相关数据的，这是爬虫初学者在使用的过程当中，最容易发生的状况，明明在浏览器里有相应的信息，可是在python抓取的网页中缺乏了对应的信息，这一般是网页使用的是js异步加载数据，在动态显示出来。一种处理方式是找出相应的js接口，可是有时这是很是可贵，由于还的分析js的调用参数，而有些参数是有加密的，还

>>阅读原文<<