Python爬虫入门笔记：一个简单的爬虫架构

      上次咱们从对爬虫进行简单的介绍，今天咱们引入一个简单爬虫的技术架构，解释爬虫技术架构中的几个模块，对爬虫先有一个总体的认知，方便对爬虫的理解和后面的编程。html      简单的爬虫架构：URL管理、网页下载、网页解析、输出部分，以下图：python       一、URL管理器：防止重复抓取、防止循环抓取；URL是爬虫爬取的入口和桥梁，除了入口URL外，剩下的URL咱们须要在网页上

>>阅读原文<<