Scrapy - 普通的Spider（一）

CrawlSpider 这个是Spider中爬取一般网站最常用的一种Spider，因为它提供了一种方便的机制可以自定义一套规则去追踪链接。它可能对特殊的网站或项目来说不是最适合的Spider，但是对一般情况来说已经足够了，因此我们可从这种Spider开始学习，然后修改它，或重新写一个自定义的Spider。除了从父类集成来的属性，这个Spider还有特有的属性和方法： rules - 一个Rule对

>>阅读原文<<