对于scrapy框架的一些补充

Item Pipeline 当 Item 在 Spider 中被收集之后，它将会被传递到 Item Pipeline，这些 Item Pipeline 组件按定义的顺序处理 Item。每个 Item Pipeline 都是实现了简单方法的 Python 类，比如决定此 Item 是丢弃而存储。以下是 item pipeline 的一些典型应用： 验证爬取的数据(检查 item 包含某些字段，比如说

>>阅读原文<<