Python 爬虫简介

Python 爬虫简介

　　说到python相信不少人第一反应就是爬虫，python是做为爬虫领域最强大的一门语言，甚至有人误认为python就是爬虫的意思，可想而知python爬虫的实例，那么刚入坑的同窗们问了，爬虫究竟是个什么呢? 

　　爬虫就是经过编写程序，浏览模拟器上网，而后让其去互联网上爬取数据的过程。

爬虫分类

• 通用爬虫：将一整张爬虫进行爬取，搜索引擎用的比较多。
• 聚焦爬虫：将一张爬下来，在获取指定元素。
• 增量式：只爬取最新或者没有爬过的数据。

反爬机制

• 门户网站，设计逻辑机制阻止爬虫程序。

反反爬策略

• 破解防反爬策略。

rebots.txt协议

• 它是一个反爬机制，指定的协议。
• 听从或者不听从