python之Selenium+pyquery爬取有大量反爬虫的天眼查

天眼查：一个还有大量公司的信息的网站。 因此反爬程度是至关高的，首先直接用requests.get(url)来获取页面源代码，你会发现，明明显示在页面上的公司的一些数据都不在，他是利用其它的js的方法表达出来的，由于这个网站有专门的反爬虫人员，能够在一些招聘网上看到工资还能够15k-30k 因此说用这些方法根本就不爬到什么 那么只有使出咱们的杀手锏，selenium，他的好处在于能够模拟浏览器操做

>>阅读原文<<