Python网络爬虫（理论篇）

欢迎关注公众号：Python爬虫数据分析挖掘，回复【开源源码】免费获取更多开源项目源码 ​   网络爬虫的组成 网络爬虫由控制节点，爬虫节点，资源库构成。     网络爬虫的控制节点和爬虫节点的结构关系 控制节点（爬虫的中央控制器）：主要负责根据URL地址分配线程，并调用爬虫节点进行具体的爬行。 爬虫节点会按照相关的算法，对网页进行具体的爬行，主要包括下载网页以及对网页的文本进行处理，爬行后，会将

>>阅读原文<<