我们先来了解下什么是网络爬虫？

网络爬虫又被称为网页蜘蛛、网络蚂蚁、网络机器人等，可以自动化浏览网络中的信息，当然浏览信息的时候需要按照我们制定的规则进行，这些规则我们称之为网络爬虫算法。   爬虫的对象较丰富：文字、图片、视频、任何结构化非结构化的数据爬虫。也衍生了一些爬虫类型： 通用爬虫是搜索引擎抓取系统（百度、谷歌、搜狗等）的重要组成部分，把互联网上的所有网页下载下来，放到本地服务器里形成备份，在对这些网页做相关处理，主要

>>阅读原文<<