scrapy 爬虫--修改配置文件

1.setting 文件 –修改ROBOT协定 True – False ROBOTSTXT_OBEY = True #打开请求DEFAULT_REQUEST_HEADERS #打开ITEM_PIPELINESE #打开DOWNLOAD_DELAY #设置设置DOWNLOADER_MIDDLEWARES & 请求头设置 UserAgentMiddleware与middlewares.py文件中添加

>>阅读原文<<