记录微博爬虫遇到问题

1.封ip 爬取免费ip做IP池，scrapy中间件检查response状态，ip失效后从ip池拿一条新ip使用 2.爬到的微博不全 weibo.cn搜索显示的数据总共有31860778条微博，但只爬到178w条   20190501有280w条，但显示1只有00页，一页10条一天只能爬到1000条 从微博建立2009.8到2019.5约3500天，按每天平均50页计算约有175w条，与爬到的数量

>>阅读原文<<