IP代理池设置练习

首先：免费的IP，果然没有一个好用的... 上代码： 设置setting.py: 然后跑代码得到如下： 懒得再去找能用的IP了 其中值得注意的是我不知道是scrapy变得更严谨了还是怎么，以前是不需要加http或https前缀的，需要恶补http协议和https协议 二是request.meta 查看scrapy文档如图

>>阅读原文<<