以 OTA 为例，看爬虫和反爬虫大战现状

随着大数据与机器学习的兴起，数据成了你们关注的重点。所以，爬虫成了小公司的命脉，反爬虫成了大公司的命脉。OTA 是爬虫的一大战场，但愿从这里能让你们看出，这个不阳光的行业，现状是怎样的。git 实录提要：正则表达式 如何分析爬虫请求和正经常使用户； 爬虫在识别的时候怎么识别是不是同一个商品； 怎么保证返回的错误数据没影响到用户呢； 爬虫多是亿级别的商品数据，如何判断页面的数据有没有变动； 做者的爬

>>阅读原文<<