网络爬虫之Scrapy实战三：爬取多个网页CrawlSpider

前面介绍到的Spider中只能解析在start_urls中的网页。虽然在上一章也实现了自动爬取的规则。但略显负责。在scrapy中可以用CrawlSpider来进行网页的自动爬取。 爬取的规则原型如下： classscrapy.contrib.spiders.Rule(link_extractor, callback=None, cb_kwargs=None, follow=None,proces

>>阅读原文<<