反爬虫，到底是怎么回事儿？

有位被爬虫摧残的读者留言问：「网站经常被外面的爬虫程序骚扰怎么办，有什么方法可以阻止爬虫吗？ 」 这是个好问题，自从 Python 火了起来，编写爬虫程序的门口越来越低，爬取别人网站数据也越来越猖獗。 阻止爬虫也就是我们这次要说的「反爬虫」，「反爬虫」涉及到的技术比较综合，说简单也简单，说复杂也复杂，看具体要做到哪种保护程度了。 下面我们说说常见的「反爬虫」技术。 一、前置知识 1. 动态网页和网

>>阅读原文<<