01-爬虫介绍

01-爬虫介绍 1. 什么是爬虫 网络爬虫是一种按照必定的规则，自动地抓网络信息的程序或者脚本。 2. 爬虫分类 1- 通用爬虫： 　　通用爬虫是搜索引擎（Baidu、Google、Yahoo等）“抓取系统”的重要组成部分。主要目的是将互联网上的网页下载到本地，造成一个互联网内容的镜像备份。简单来说就是尽量的；把互联网上的全部的网页下载下来，放到本地服务器里造成备分，在对这些网页作相关处理(提取关

>>阅读原文<<