网络爬虫入门1

网络爬虫包括了四大部分：url管理器，url下载器，url解析器，url输出器。最后由主程序调用者四个部分   首先来看 url管理器：主要功能是将未解析的url和已经解析过的url分开，以防重复解析    url_manager.py class UrlManager(): def __init__(self): self.new_urls=set() s

>>阅读原文<<