信息安全课程的一个任务，正好在了解的同时记录一下，都是很基础的概念和理解，若有问题但愿各位大佬多多指正。html
通过讨论，咱们认为这次课设的目的为让咱们更多的了解爬虫-反爬虫-反反爬虫机制，了解基础的反爬虫手段，与相应的反反爬虫模式，并根据网络资料对一些经典的反反爬虫案例进行复现web
网络爬虫是一种按照必定的规则，自动地抓取万维网信息的程序或者脚本。
而反网络爬虫则是根据ip访问频率，浏览网页速度，帐户登陆，输入验证码等技术阻止爬虫程序运行的程序。
反反爬虫则是绕开反网络爬虫机制再次抓取信息的网络爬虫程序。
举个例子，爬虫像一个小偷，要去房子里偷数据，而反爬虫则是这间住房的防御措施，小偷第一次被铁门阻挡以后选择挖地道，就是一种反反爬虫的方式。总之防御的手段多种多样，小偷的手段也层出不穷。数据库
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更常常的称为网页追逐者），是一种按照必定的规则，自动地抓取万维网信息的程序或者脚本。另一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 ——以上来自百度百科
简单来讲，就是自动请求网页并获取数据的程序浏览器
爬虫的应用多种多样，从咱们本专业的学习生活来说，能够经过学习爬虫来创建或优化独立的搜索引擎，也可使用爬虫来获取机器学习须要的大量数据，或者去爬想看的剧喜欢明星的照片等。在信息安全角度，爬虫除了页面自己信息以外，还能够得到浏览器的传输信息，从而获取用户数据。安全
首先咱们须要了解网上冲浪的实际过程：
在浏览器中输入地址 —— 通过DNS服务器找到服务器主机 —— 向服务器发送一个请求 —— 服务器通过解析后发送给用户浏览器结果
用户实际上获得的只是html的代码，即爬虫的任务就是分析这段代码，从中提取对本身有用的信息服务器