爬虫知识9：scrapy框架自定义类及扩展

    scrapy框架中每一步都是可以通过自定义类或者扩展来完成你要实现的特定的功能。一般自定义的类和扩展都是有一些特定的方法的。 完成自定义类和扩展有两个步骤： 1）在spiders同级创建任意目录，根据特定的方法，自定义类，后者在middleware.py中直接之定义。 2）在setting中启用自定义的类。 本文介绍的案例： 案例1：去重url类 案例2：自定义pipeline 案例3：自

>>阅读原文<<