爬虫那些事－爬虫设计思路

1、前言css 爬虫普遍使用于搜索引擎、新闻聚合以及大数据采集当中，一个良好的爬虫系统须要考虑不少方面：爬虫种子的获取须要有个稳定的任务调度机制，下载页面过程须要考虑到网页内容的生成是不是须要js渲染，请求网页是否须要设置请求头，还有请求过多会不会被对方封锁。另外就是数据处理过程，什么页面须要进行数据提取，什么页面是分裂成其它页面，还有页面内容提取须要采用什么手段：好比css selector解析

>>阅读原文<<