Python 网络爬虫 迷你爬虫框架

本文章主要是实现一个最基础的网络爬虫框架，采用广度优先策略，即先爬取当级的全部网页，再对下级网页进行爬取。这样的文章能够说是一找一大堆，但我仍是写了一遍，别人写的代码，那是别人的东西，若是不亲自实践，那你是永远都没法掌握，发出来也是想给初学者一个参考。还有救是每次写超过50行的代码我都会作流程图，虽然很不标准，但仍是能够有一个基本思路。有流程图说明代码中有本身的思考，仍是那句话，写程序，百分之80

>>阅读原文<<