java爬虫技术—内功修炼之网络爬虫爬取流程(四)

    看着下面的小奇和一张张求知若渴的表情,对未知充满了好奇,又想起当年的自己不也是这样吗,长老也是满脸的欣慰,继续开始自己的讲解,下面说说数据爬取的流程。     数据爬取主要分四个步骤:爬取对象准备-->页面数据抓取-->数据解析处理-->数据持久存储。     爬取对象准备:即数据爬取的入口,也就是我们要爬取的种子URL,把需要爬取的URL统一的放到一个指定的集合中等待分配爬取。    
相关文章
相关标签/搜索