一起来看一下Python爬虫的迷你爬虫架构--这些你熟悉吗？

语言&环境 语言：继续用Python开路！ 一个迷你框架 下面以比较典型的通用爬虫为例，分析其工程要点，设计并实现一个迷你框架。架构图如下： 代码结构： config_load.py 配置文件加载 crawl_thread.py 爬取线程 mini_spider.py 主线程 spider.conf 配置文件 url_table.py url队列、url表 urls.txt 种子url集合 web

>>阅读原文<<