爬虫与反爬虫的攻防博弈

遥想当年，我的第一份实习工作，还就是做的爬虫呢。不知不觉 7 年过去了，如今首例利用爬虫技术非法盗抓数据案都已经被判违法了。 我记得我第一份实习工作，就是做的爬虫，利用爬虫技术，去爬取各种论坛和网站，然后要做到记录到每个论坛帖子的发帖时间，在论坛的板块，页数，发帖时间，发帖 ID ，然后存储起来，可以做到搜索关键字快速定位到哪个论坛的那一页，哪个帖子。而且这个爬虫技术基本上要做到可以适配几乎所有，

>>阅读原文<<