爬虫入门（一）爬虫的基本知识

什么时爬虫？ 网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序. 原则上来说,只要是浏览器(客户端)能做的事情，爬虫都能够做.* 爬虫的分类与流程 根据被爬网站的数量的不同，我们把爬虫分为： 通用爬虫 ：通常指搜索引擎的爬虫 聚焦爬虫 ：针对特定网站的爬虫 爬虫的流程 搜索引擎的局限性 通用搜索引擎所返回的网页里90%

>>阅读原文<<