Scrapy启用下载中间件时无法写入pipeline

问题描述 使用Scrapy在爬取百度的过程中,在下载中间件中加入Selenium返回加载好的页面并解析,但是使用pipeline无法把爬到的数据写入文件 探索过程 已经设置pipelines.py文件 已经在settings.py中打开管道 spider文件中的处理函数parse()写了返回语句,控制台可以正常打印爬到的数据 到此怀疑是项目框架出了问题,新建一个Scrapy project,写一个
相关文章
相关标签/搜索