记录爬取2470条数据

由于爬取了几百条之后，生成的文件就是30多MB啦。所以分成1000,500,500,470.4个批次。 不过，要手动挪一下。【就是把之前第一页生成的挪过来。】 列表文件，和基础信息文件.都弄成空列表！ 前1000个： 前1000条： 【记录一下在995条遇到的困难】 还好，我设置了自动从上次失败的地方进行爬取的功能代码： 再次启动：   前1000条结束：      我们仅仅修改page里面的数值

>>阅读原文<<