如何让爬虫一天抓取100万张网页

前一两年抓过某工商信息网站，几三周时间大约抓了过千万多万张页面。那时因为公司没啥经费，报销又拖得好久，不想花钱在不少机器和带宽上，因此当时花了较多精力研究如何让一台爬虫机器达到抓取极限。javascript 本篇偏爬虫技术细节，先周知。css 爬虫这两年貌似成为了一项必备技能，不管是搞技术的，作产品的，数据分析的，金融的，初创公司作冷启动的，都想去抓点数据回来玩玩。这里面绝大多数一共都只抓几万或几

>>阅读原文<<