Java 月薪25K的爬虫工程师对爬虫的流程做了一个非常全面的总结！

爬虫是一个比较容易上手的技术，也许花5分钟看一篇文档就能爬取单个网页上的数据。但对于深度爬虫，完全就是另一回事，并不是1*n这么简单，还会衍生出许多别的问题。 这里双手奉上业内爬虫流程图一份 很拉风的样子 先检查是否有API API是网站官方提供的数据接口，如果通过调用API采集数据，则相当于在网站允许的范围内采集，这样既不会有道德法律风险，也没有网站故意设置的障碍；不过调用API接口的访问则处于

>>阅读原文<<