爬虫-化被动为主动

一、前言 现在网上有很多被动式扫描器，配置一个代理给浏览器设置，然后人去点击浏览器上的网页，在这种模式下抓到的URL数量没有用爬虫的效果好。 我个人是比较懒的，先也写了个被动的扫描器，不想改以前写的东西，而且被动也有被动的优点，所以就想可不可以让爬虫也设置个代理。就有了下面的东西，很方便。 二、实操 如何在不改变原被动扫描器的情况下让被动变成主动。 主结构： 以phantomjs为核心，用JS模仿

>>阅读原文<<