爬虫的一些经验和思考

微博爬虫的一些经验和思考 微博爬虫的一些经验和思考 1. 总结 2. todos 3. 基本路线 4. cookie 5. 代理 6. 验证码 7. Others 1. 总结 若是量不大，大型网站(微博，知乎)，建议直接使用路线2，省时省力 若是量不大，小型网站(反爬策略弱)，直接路线1web 2. todos 分布式爬虫 自建框架 scrapy 抓包，爬取app数据 3. 基本路线 reques

>>阅读原文<<