用代理IP爬虫遇到问题怎么办

爬虫在抓取数据的时候都知道须要使用代理IP，否则是没法顺利进行的。用户在使用了代理IP爬虫，还会出现一些问题，致使爬虫没法继续。那么，用代理IP爬虫遇到问题怎么办呢？ 1.分布式爬虫。使用分布式爬虫的方式在必定程度上能够避免问题，并且还能够大大提升抓取数据的效果，提升工做效率。 2.保存cookies。在模拟登录的时候会比较麻烦，能够直接在web上登录后取下cookie保存，一块儿带着爬虫，但这种

>>阅读原文<<