scrapy框架的每个模块的用途

## 一、scrapy框架的每个模块的用途 1、spiders: 自定义爬虫 定义允许爬取的范围 定义开始爬取的url parse:一定要重写 start_request：一般不需要重写，可以通过重写start_request进行模拟登陆 2、items 1）定义爬取的items域，是一个类字典的一个对象 如果在爬虫中定义了其他其他的键，即超过item的爬取范围，那么就会报错 2）其实可以通过在s

>>阅读原文<<