Scrapy - Spiders详解

Spiders是Scrapy中最重要的地方，它定义了如何爬取及解析数据，可以说Spiders是Scrapy框架中的核心所在。 对Spiders来说，一般工作的步骤如下： 根据初始的URLs生成Requests对象并指定处理requests对象response的回调方法。初始的URLs是由spider的start_urls属性指定的，然后默认调用start_requests方法生成对应的Reques

>>阅读原文<<