谈谈爬虫的相关技术

什么是爬虫

咱们先看看维基百科的定义

网络爬虫（英语：web crawler），也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。

通俗的说爬虫就是经过必定的规则策略，自动抓取、下载互联网上网页，在按照某些规则算法对这些网页进行数据抽取、 索引。  像百度、谷歌、今日头条、包括各种新闻站都是经过爬虫来抓取数据。

　　

题外话

博客园里偶尔看到爬虫的文章，其实不少都称不上为爬虫。 只能叫玩具或者叫http请求下载程序吧。。 严格来讲爬虫是一个系统，它包含了爬取策略、更新策略、队列、排重、存储模块等部分。

爬虫的分类

按照抓取网站对象来分类，能够分为2类爬虫。

1. 通用爬虫

　　相似百度、谷歌这样的爬虫，抓取对象是整个互联网，对于网页没有固定的抽取规则。 对于全部网页都是一套通用的处理方法。

2. 垂直爬虫

　　这类爬虫主要针对一些特定对象、网站，有一台指定的爬取路径、数据抽取规则。好比今日头条，它的目标网站就是全部的新闻类网站。 好比Etao比价、网易的慧慧购物助手，他们的目标网站就是 淘宝、京东、天猫等等电商网站。

通用爬虫和垂直爬虫显著的区别：

1. 抓取范围，通用爬虫的抓取范围要比垂直爬虫大得多，一个是整个互联网，一个是指定的网站。

2. 爬取路线，一个通用爬虫要不按照深度爬取、要不是按广度爬取。 而垂直爬虫则多是按照指定路线爬取。

3. 数据处理，通用爬虫通常就是分词、索引到数据库。 而垂直爬虫则经过特定的规则来抽取更加精细的数据 。

通常爬虫的构成

那么一个完整的爬虫程序由哪些东西组成呢？ 

1. HTTP下载器

　　顾名思义就是负责HTTP下载，别小瞧它，要作好还挺不容易，由于你面对的复杂而无序、甚至包含错误的互联网。

2. 抓取队列

　　就是存储新产生的URL队列（queue），队列能够是多种形式的，他能够是redis的队列、数据库中的表、内存中的队列。根据场景，你能够自行选择。

3. 调度器

　　调度嘛，就是负责管理工做的，它经过制定策略，规定哪些URL优先执行、哪些URL靠后。 

4. 多线程模块

　　对我来讲，一个爬虫必需要支持多线程，而且可控。 

5. 排重集合

　　排重，这是一个爬虫必不可少的部分，你必须记录下哪些URL已经采集过、哪些是未采集过的，复杂点的爬虫，你可能还须要记录上次抓取时间。

6. 页面解析器

　　就是定义如何解析抓取到的页面，对于通用爬虫，它可能对于全部页面都是一套逻辑，就是分词、索引。 但对于垂直爬虫，则须要指定规则。手段可能有正则、XPath、正文识别等等。

7.存储数据

　　定义以什么方式存储抓取到的数据， 通常状况下都是存储到数据库啦。固然，是通常的关系数据库，仍是NoSQL 就看需求了。

通常爬虫的流程

通用爬虫、垂直爬虫他们的流程都是类似的，下面咱们简单说说一个爬虫究竟是怎么运行的。

首先，咱们用一张通常爬虫的流程结构图来看看。

英文我就不翻译了。 大概说说流程吧。

1. 指定起始URLs。 也就是指定一个入口。不论是通用爬虫仍是垂直爬虫，都须要一个入口。

2. 下载、解析URL。 这里分为2个操做，1. 抽取数据，存储到数据库；2. 解析出页面中包含的URL。 

3. 将解析的新URL放到队列中。

4. 调度器从URL队列中，按照必定策略，取出要下载的URL，添加到HTTP下载中。

5. 重复执行第二步，直到URL队列为空。

开源爬虫的框架、程序

这里列举一些比较有名的爬虫项目，有些我用过，有些没用过。我平时工做环境是 .net ,对python爬虫也略有研究。

1. Scrapy , 很是有名的Python爬虫项目，用户数很是多，文档作的也很棒。  

2. Nutch ，Java的，它实际上是一个搜索引擎项目，包含了搜索和Web爬虫两个部分。 没用过。 

3. NCrawler, .net 写的。 架构和代码都很棒，建议想学习 .net 爬虫的同窗，多研究。惋惜没用文档

Scrapy 额外点评， 在我大概读了下它的源码后，我以为 Scrapy 在一些地方仍是很不错的，好比回调模型。  可是它太臃肿了。对于一个垂直爬虫框架来讲的，有不少没必要要的设计，好比下载器、中间件。 

暂且就列这几个， 欢迎各位同窗补充！

除了学习爬虫框架，还须要学习哪些技术？ 

1. HTTP协议

　　主要的包括GET、POST方法。 各类类型Header的了解 ，包括Referer、User-Agent、Cookie、Accept、Encoding、Content-Type等等。

　　了解各类HTTP状态码的含义，常见的状态码好比 200表示正常； 301表示重定向，同时会返回新的URL；404表示页面不存在；5xx表示服务器端错误

　　了解Cookie的构成，原理。

2. HTML

　　HTML基础知识，了解HTML经常使用元素， 好比A、IMG等等。

　　了解URL的构成，路径、参数，绝对路径、相对路径。　　

　　编码相关，HTML charset, HTML EncodeDecode，URL EncodeDecode，JS EncodeDecode, 

3. 浏览器相关

　　HTTP协议、HTML其实都是浏览器相关的

　　了解浏览器，从你输入一个URL，到看到完整的网页，中间发生了什么。相关知识点： URL、DNS、HTTP、Web Server、HTML、JS、CSS、DOM树、JS引擎等等。

　　其中DOM树、JavaScript相关知识对于爬虫来讲仍是至关重要的。有些时候须要反解JS。

4. 抓包技术

　　经常使用抓包工具，好比Fiddler、浏览器的F十二、Wireshark、Microsoft Network Monitor。后面2个属于TCP级别，用的较少。

　　经过学习抓包工具使用，能够帮你更好的学习HTTP协议、浏览器相关知识。

　　这里强烈、重点推荐 Fiddler。

　　大概说下几个经常使用功能吧， 抓包、保存包数据、Composer（构造HTTP请求）、AutoResponser（自动响应HTTP）、FidderScript 经过编写脚本定制程序、修改HTTP包。

　　若是你是 .net 技术相关的，建议反编译下，读下源代码，HTTP协议你就搞定啦。它还提供了 FiddlerCore 库让你能够编写本身抓包程序。

反爬虫技术

有爬虫，固然就有反爬虫技术啦。 他们俩一直处于一个对抗、共存的状态。 这是一个很是有意思的过程，对于一些爬虫从业、爱好者来讲。 

一般来讲，只要你想爬，没有爬取不到的数据，就看你的资源和技术了。 不管是网站仍是APP。

下面列举下常见几种反爬虫技术：

1. useragent、referer 等常见反爬虫技术（低级）

2. 须要登陆 cookie, 

3. 封 IP ，限制 IP 访问频率

4. 验证码，包括图像验证码、拖动验证码等等

5. 浏览器端 Javascript 混淆 ajax 参数

6. 其余如 token、随机数 

不要紧，虽然反爬技术多，可是只是增长你的成本而已。 不过网站也是有代价的，有些反爬会损害用户体验的。

有意思的事情：

许多大的互联网公司，会同时有爬虫部门和反爬虫部门。哈哈哈，是这样的，爬虫部门用来爬别人家的数据，
反爬部门用来屏蔽别人家的爬虫咯！  举个例子，就像以前的58和赶集（不过如今他们合并了）

有意思的项目：

一步采集  经过算法，计算出一个网页中列表、分页地址。相似于 正文识别 算法。这个技术对于须要作大量垂直爬虫的人来讲，就颇有用图。不用再编写XPath、正则表达式。