芝麻HTTP：爬虫的基本原理

时间 2019-12-14

原文原文链接

咱们能够把互联网比做一张大网，而爬虫（即网络爬虫）即是在网上爬行的蜘蛛。把网的节点比做一个个网页，爬虫爬到这就至关于访问了该页面，获取了其信息。能够把节点间的连线比做网页与网页之间的连接关系，这样蜘蛛经过一个节点后，能够顺着节点连线继续爬行到达下一个节点，即经过一个网页继续获取后续的网页，这样整个网的节点即可以被蜘蛛所有爬行到，网站的数据就能够被抓取下来了。html

1. 爬虫概述

简单来讲，爬虫就是获取网页并提取和保存信息的自动化程序，下面概要介绍一下。前端

(1) 获取网页

爬虫首先要作的工做就是获取网页，这里就是获取网页的源代码。源代码里包含了网页的部分有用信息，因此只要把源代码获取下来，就能够从中提取想要的信息了。正则表达式

前面讲了请求和响应的概念，向网站的服务器发送一个请求，返回的响应体即是网页源代码。因此，最关键的部分就是构造一个请求并发送给服务器，而后接收到响应并将其解析出来，那么这个流程怎样实现呢？总不能手工去截取网页源码吧？数据库

不用担忧，Python提供了许多库来帮助咱们实现这个操做，如urllib、requests等。咱们能够用这些库来帮助咱们实现HTTP请求操做，请求和响应均可以用类库提供的数据结构来表示，获得响应以后只须要解析数据结构中的Body部分便可，即获得网页的源代码，这样咱们能够用程序来实现获取网页的过程了。浏览器

(2) 提取信息

获取网页源代码后，接下来就是分析网页源代码，从中提取咱们想要的数据。首先，最通用的方法即是采用正则表达式提取，这是一个万能的方法，可是在构造正则表达式时比较复杂且容易出错。服务器

另外，因为网页的结构有必定的规则，因此还有一些根据网页节点属性、CSS选择器或XPath来提取网页信息的库，如Beautiful Soup、pyquery、lxml等。使用这些库，咱们能够高效快速地从中提取网页信息，如节点的属性、文本值等。网络

提取信息是爬虫很是重要的部分，它可使杂乱的数据变得条理清晰，以便咱们后续处理和分析数据。数据结构

(3) 保存数据

提取信息后，咱们通常会将提取到的数据保存到某处以便后续使用。这里保存形式有多种多样，如能够简单保存为TXT文本或JSON文本，也能够保存到数据库，如MySQL和MongoDB等，也可保存至远程服务器，如借助SFTP进行操做等。并发

(4) 自动化程序

说到自动化程序，意思是说爬虫能够代替人来完成这些操做。首先，咱们手工固然能够提取这些信息，可是当量特别大或者想快速获取大量数据的话，确定仍是要借助程序。爬虫就是代替咱们来完成这份爬取工做的自动化程序，它能够在抓取过程当中进行各类异常处理、错误重试等操做，确保爬取持续高效地运行。app

2. 能抓怎样的数据

在网页中咱们能看到各类各样的信息，最多见的即是常规网页，它们对应着HTML代码，而最常抓取的即是HTML源代码。

另外，可能有些网页返回的不是HTML代码，而是一个JSON字符串（其中API接口大多采用这样的形式），这种格式的数据方便传输和解析，它们一样能够抓取，并且数据提取更加方便。

此外，咱们还能够看到各类二进制数据，如图片、视频和音频等。利用爬虫，咱们能够将这些二进制数据抓取下来，而后保存成对应的文件名。

另外，还能够看到各类扩展名的文件，如CSS、JavaScript和配置文件等，这些其实也是最普通的文件，只要在浏览器里面能够访问到，就能够将其抓取下来。

上述内容其实都对应各自的URL，是基于HTTP或HTTPS协议的，只要是这种数据，爬虫均可以抓取。

3. JavaScript渲染页面

有时候，咱们在用urllib或requests抓取网页时，获得的源代码实际和浏览器中看到的不同。

这是一个很是常见的问题。如今网页愈来愈多地采用Ajax、前端模块化工具来构建，整个网页可能都是由JavaScript渲染出来的，也就是说原始的HTML代码就是一个空壳，例如：

<!DOCTYPE html>
<html>
    <head>
        <meta charset="UTF-8">
        <title>This is a Demo</title>
    </head>
    <body>
        <div id="container">
        </div>
    </body>
    <script src="app.js"></script>
</html>

body节点里面只有一个id为container的节点，可是须要注意在body节点后引入了app.js，它便负责整个网站的渲染。

在浏览器中打开这个页面时，首先会加载这个HTML内容，接着浏览器会发现其中引入了一个app.js文件，而后便会接着去请求这个文件，获取到该文件后，便会执行其中的JavaScript代码，而JavaScript则会改变HTML中的节点，向其添加内容，最后获得完整的页面。

可是在用urllib或requests等库请求当前页面时，咱们获得的只是这个HTML代码，它不会帮助咱们去继续加载这个JavaScript文件，这样也就看不到浏览器中的内容了。

这也解释了为何有时咱们获得的源代码和浏览器中看到的不同。

所以，使用基本HTTP请求库获得的源代码可能跟浏览器中的页面源代码不太同样。对于这样的状况，咱们能够分析其后台Ajax接口，也可以使用Selenium、Splash这样的库来实现模拟JavaScript渲染。

后面，咱们会详细介绍如何采集JavaScript渲染的网页。

本节介绍了爬虫的一些基本原理，这能够帮助咱们在后面编写爬虫时更加驾轻就熟。