知乎爬虫之2:爬虫流程设计

本文由博主原创,转载请注明出处 说到爬虫，其实写起来很简单，爬虫无非就是将本身想要的内容在页面上抽离出来，而且存储。这个过程在今天已经变得很是轻松，在Java下有Jsoup，Python下有BS4，还有通吃的正则等等，然而真正难的倒是在于伪造请求，截获分析请求参数，获取正确的页面. 首先来讲，一个能混得过去的爬虫，应该有一个优秀的流程，在明确本身的目标后，应该立马去设计爬虫工做流程，而不是去无脑的

>>阅读原文<<