如何维护一个1000 IP的免费代理池

楔子 好友李博士要买房了, 前几天应邀帮他抓链家的数据分析下房价, 爬到一半遇到了验证码.mysql 李博士的想法是天天把链家在售的二手房数据都抓一遍, 而后按照时间序列分析. 链家线上在交易的二手房数据大概有30000余套, 而一天只有86400秒, 也就是最慢3s也要访问一个页面. 测试按照这种频率, 大概访问100个页面就会被封了, 并且封锁的时间还不短, 至少在12小时左右. 若是想要天天
相关文章
相关标签/搜索