大规模爬虫流程总结

爬虫是一个比较容易上手的技术，也许花5分钟看一篇文档就能爬取单个网页上的数据。但对于大规模爬虫，彻底就是另外一回事，并非1*n这么简单，还会衍生出许多别的问题。git 系统的大规模爬虫流程如图所示。正则表达式 先检查是否有API API是网站官方提供的数据接口，若是经过调用API采集数据，则至关于在网站容许的范围内采集，这样既不会有道德法律风险，也没有网站故意设置的障碍；不过调用API接口的访问则

>>阅读原文<<