谨慎爬虫！

今天中午吃饭的路上，遇到爬虫组的同事，相互寒暄了几句。听同事说，最近与竞争对手公司的工程师暗地里打得热火朝天。爬虫与反爬的黑科技操作有来有往，数据曲线走势图从 9 点钟上班开始，跌宕起伏，彼此利用技术手段互相切磋，你攻我防，直到六点钟下班结束，曲线恢复正常平静波动。 这就是大公司负责爬虫和反爬的程序员一天的工作内容，保证各自的爬虫数据曲线正常绘制。 这里我想说的不是这个，而是想和大家聊聊 爬虫的合

>>阅读原文<<