Python使用selenium进行爬虫(一)

    JAVA爬虫框架不少,相似JSOUP,WEBLOGIC之类的爬虫框架都十分好用,我的认为爬虫的大体思路就是:css 一、挑选需求爬的URL地址,将其放入需求网络爬虫的队列,也能够把爬到的符合必定需求的地址放入这个队列中html 二、获取一个url进行DNS解析,获取其主机IPweb 三、针对这个url地址将其页面加载下来(也就是这个页面的html或者jsp)加载下来,不一样的框架有不一样的
相关文章
相关标签/搜索