[Python3网络爬虫开发实战] 2.2-网页基础

时间 2019-11-30

标签 python3 python 网络爬虫开发实战 2.2 网页基础栏目 Python 繁體版

原文原文链接

用浏览器访问网站时，页面各不相同，你有没有想过它为什么会呈现这个样子呢？本节中，咱们就来了解一下网页的基本组成、结构和节点等内容。css

1. 网页的组成

网页能够分为三大部分——HTML、CSS和JavaScript。若是把网页比做一我的的话，HTML至关于骨架，JavaScript至关于肌肉，CSS至关于皮肤，三者结合起来才能造成一个完善的网页。下面咱们分别来介绍一下这三部分的功能。html

(1) HTML

HTML是用来描述网页的一种语言，其全称叫做Hyper Text Markup Language，即超文本标记语言。网页包括文字、按钮、图片和视频等各类复杂的元素，其基础架构就是HTML。不一样类型的文字经过不一样类型的标签来表示，如图片用img标签表示，视频用video标签表示，段落用p标签表示，它们之间的布局又常经过布局标签div嵌套组合而成，各类标签经过不一样的排列和嵌套才造成了网页的框架。node

在Chrome浏览器中打开百度，右击并选择“检查”项（或按F12键），打开开发者模式，这时在Elements选项卡中便可看到网页的源代码，如图2-9所示。jquery

图2-9 源代码git

这就是HTML，整个网页就是由各类标签嵌套组合而成的。这些标签订义的节点元素相互嵌套和组合造成了复杂的层次关系，就造成了网页的架构。github

(2) CSS

HTML定义了网页的结构，可是只有HTML页面的布局并不美观，可能只是简单的节点元素的排列，为了让网页看起来更好看一些，这里借助了CSS。浏览器

CSS，全称叫做Cascading Style Sheets，即层叠样式表。“层叠”是指当在HTML中引用了数个样式文件，而且样式发生冲突时，浏览器能依据层叠顺序处理。“样式”指网页中文字大小、颜色、元素间距、排列等格式。markdown

CSS是目前惟一的网页页面排版样式标准，有了它的帮助，页面才会变得更为美观。架构

图2-9的右侧即为CSS，例如：app

#head_wrapper.s-ps-islite .s-p-top {

position: absolute;

bottom: 40px;

width: 100%;

height: 181px;

}

就是一个CSS样式。大括号前面是一个CSS选择器，此选择器的意思是首先选中id为head_wrapper且class为s-ps-islite的节点，而后再选中其内部的class为s-p-top的节点。大括号内部写的就是一条条样式规则，例如position指定了这个元素的布局方式为绝对布局，bottom指定元素的下边距为40像素，width指定了宽度为100%占满父元素，height则指定了元素的高度。也就是说，咱们将位置、宽度、高度等样式配置统一写成这样的形式，而后用大括号括起来，接着在开头再加上CSS选择器，这就表明这个样式对CSS选择器选中的元素生效，元素就会根据此样式来展现了。

在网页中，通常会统必定义整个网页的样式规则，并写入CSS文件中（其后缀为css）。在HTML中，只须要用link标签便可引入写好的CSS文件，这样整个页面就会变得美观、优雅。

(3) JavaScript

JavaScript，简称JS，是一种脚本语言。HTML和CSS配合使用，提供给用户的只是一种静态信息，缺少交互性。咱们在网页里可能会看到一些交互和动画效果，以下载进度条、提示框、轮播图等，这一般就是JavaScript的功劳。它的出现使得用户与信息之间不仅是一种浏览与显示的关系，而是实现了一种实时、动态、交互的页面功能。

JavaScript一般也是以单独的文件形式加载的，后缀为js，在HTML中经过script标签便可引入，例如：

1	<script src="jquery-2.1.0.js"></script>

综上所述，HTML定义了网页的内容和结构，CSS描述了网页的布局，JavaScript定义了网页的行为。

2. 网页的结构

咱们首先用例子来感觉一下HTML的基本结构。新建一个文本文件，名称能够自取，后缀为html，内容以下：

<!DOCTYPE html>

<html>

<head>

</head>

<body>

<h2 class="title">Hello World</h2>

<p class="text">Hello, this is a paragraph.</p>

</div>

</body>

</html>

这就是一个最简单的HTML实例。开头用DOCTYPE定义了文档类型，其次最外层是html标签，最后还有对应的结束标签来表示闭合，其内部是head标签和body标签，分别表明网页头和网页体，它们也须要结束标签。head标签内定义了一些页面的配置和引用，如：

1	<meta charset="UTF-8">

它指定了网页的编码为UTF-8。

title标签则定义了网页的标题，会显示在网页的选项卡中，不会显示在正文中。body标签内则是在网页正文中显示的内容。div标签订义了网页中的区块，它的id是container，这是一个很是经常使用的属性，且id的内容在网页中是惟一的，咱们能够经过它来获取这个区块。而后在此区块内又有一个div标签，它的class为wrapper，这也是一个很是经常使用的属性，常常与CSS配合使用来设定样式。而后此区块内部又有一个h2标签，这表明一个二级标题。另外，还有一个p标签，这表明一个段落。在这二者中直接写入相应的内容便可在网页中呈现出来，它们也有各自的class属性。

将代码保存后，在浏览器中打开该文件，能够看到如图2-10所示的内容。

图2-10 运行结果

能够看到，在选项卡上显示了This is a Demo字样，这是咱们在head中的title里定义的文字。而网页正文是body标签内部定义的各个元素生成的，能够看到这里显示了二级标题和段落。

这个实例即是网页的通常结构。一个网页的标准形式是html标签内嵌套head和body标签，head内定义网页的配置和引用，body内定义网页的正文。

3. 节点树及节点间的关系

在HTML中，全部标签订义的内容都是节点，它们构成了一个HTML DOM树。

咱们先看下什么是DOM，DOM是W3C（万维网联盟）的标准，其英文全称Document Object Model，即文档对象模型。它定义了访问HTML和XML文档的标准：

W3C文档对象模型（DOM）是中立于平台和语言的接口，它容许程序和脚本动态地访问和更新文档的内容、结构和样式。

W3C DOM标准被分为3个不一样的部分。

核心DOM：针对任何结构化文档的标准模型。
XML DOM：针对XML文档的标准模型。
HTML DOM：针对HTML文档的标准模型。

根据W3C的HTML DOM标准，HTML文档中的全部内容都是节点。

整个文档是一个文档节点；
每一个HTML元素是元素节点；
HTML元素内的文本是文本节点；
每一个HTML属性是属性节点；
注释是注释节点。

HTML DOM将HTML文档视做树结构，这种结构被称为节点树，如图2-11所示。

图2-11 节点树

经过HTML DOM，树中的全部节点都可经过JavaScript访问，全部HTML节点元素都可被修改，也能够被建立或删除。

节点树中的节点彼此拥有层级关系。咱们经常使用父（parent）、子（child）和兄弟（sibling）等术语描述这些关系。父节点拥有子节点，同级的子节点被称为兄弟节点。

在节点树中，顶端节点称为根（root）。除了根节点以外，每一个节点都有父节点，同时可拥有任意数量的子节点或兄弟节点。图2-12展现了节点树以及节点之间的关系。

图2-12 节点树及节点间的关系

本段参考W3SCHOOL，连接：http://www.w3school.com.cn/htmldom/dom_nodes.asp。

4. 选择器

咱们知道网页由一个个节点组成，CSS选择器会根据不一样的节点设置不一样的样式规则，那么怎样来定位节点呢？

在CSS中，咱们使用CSS选择器来定位节点。例如，上例中div节点的id为container，那么就能够表示为#container，其中#开头表明选择id，其后紧跟id的名称。另外，若是咱们想选择class为wrapper的节点，即可以使用.wrapper，这里以点（.）开头表明选择class，其后紧跟class的名称。另外，还有一种选择方式，那就是根据标签名筛选，例如想选择二级标题，直接用h2便可。这是最经常使用的3种表示，分别是根据id、class、标签名筛选，请牢记它们的写法。

另外，CSS选择器还支持嵌套选择，各个选择器之间加上空格分隔开即可以表明嵌套关系，如#container .wrapper p则表明先选择id为container的节点，而后选中其内部的class为wrapper的节点，而后再进一步选中其内部的p节点。另外，若是不加空格，则表明并列关系，如div#container .wrapper p.text表明先选择id为container的div节点，而后选中其内部的class为wrapper的节点，再进一步选中其内部的class为text的p节点。这就是CSS选择器，其筛选功能仍是很是强大的。

另外，CSS选择器还有一些其余语法规则，具体如表2-4所示。

表2-4 CSS选择器的其余语法规则

选择器	例子	例子描述
`.class`	`.intro`	选择`class="intro"`的全部节点
`#id`	`#firstname`	选择`id="firstname"`的全部节点
`*`	`*`	选择全部节点
`element`	`p`	选择全部`p`节点
`element,element`	`div,p`	选择全部`div`节点和全部`p`节点
`element element`	`div p`	选择`div`节点内部的全部`p`节点
`element>element`	`div>p`	选择父节点为`div`节点的全部`p`节点
`element+element`	`div+p`	选择紧接在`div`节点以后的全部`p`节点
`[attribute]`	`[target]`	选择带有`target`属性的全部节点
`[attribute=value]`	`[target=blank]`	选择`target="blank"`的全部节点
`[attribute~=value]`	`[title~=flower]`	选择`title`属性包含单词`flower`的全部节点
`:link`	`a:link`	选择全部未被访问的连接
`:visited`	`a:visited`	选择全部已被访问的连接
`:active`	`a:active`	选择活动连接
`:hover`	`a:hover`	选择鼠标指针位于其上的连接
`:focus`	`input:focus`	选择得到焦点的`input`节点
`:first-letter`	`p:first-letter`	选择每一个`p`节点的首字母
`:first-line`	`p:first-line`	选择每一个`p`节点的首行
`:first-child`	`p:first-child`	选择属于父节点的第一个子节点的全部`p`节点
`:before`	`p:before`	在每一个`p`节点的内容以前插入内容
`:after`	`p:after`	在每一个`p`节点的内容以后插入内容
`:lang(language)`	`p:lang`	选择带有以`it`开头的`lang`属性值的全部`p`节点
`element1~element2`	`p~ul`	选择前面有`p`节点的全部`ul`节点
`[attribute^=value]`	`a[src^="https"]`	选择其`src`属性值以`https`开头的全部`a`节点
`[attribute$=value]`	`a[src$=".pdf"]`	选择其`src`属性以`.pdf`结尾的全部`a`节点
`[attribute*=value]`	`a[src*="abc"]`	选择其`src`属性中包含`abc`子串的全部`a`节点
`:first-of-type`	`p:first-of-type`	选择属于其父节点的首个`p`节点的全部`p`节点
`:last-of-type`	`p:last-of-type`	选择属于其父节点的最后`p`节点的全部`p`节点
`:only-of-type`	`p:only-of-type`	选择属于其父节点惟一的`p`节点的全部`p`节点
`:only-child`	`p:only-child`	选择属于其父节点的惟一子节点的全部`p`节点
`:nth-child(n)`	`p:nth-child`	选择属于其父节点的第二个子节点的全部`p`节点
`:nth-last-child(n)`	`p:nth-last-child`	同上，从最后一个子节点开始计数
`:nth-of-type(n)`	`p:nth-of-type`	选择属于其父节点第二个`p`节点的全部`p`节点
`:nth-last-of-type(n)`	`p:nth-last-of-type`	同上，可是从最后一个子节点开始计数
`:last-child`	`p:last-child`	选择属于其父节点最后一个子节点的全部`p`节点
`:root`	`:root`	选择文档的根节点
`:empty`	`p:empty`	选择没有子节点的全部`p`节点（包括文本节点）
`:target`	`#news:target`	选择当前活动的`#news`节点
`:enabled`	`input:enabled`	选择每一个启用的`input`节点
`:disabled`	`input:disabled`	选择每一个禁用的`input`节点
`:checked`	`input:checked`	选择每一个被选中的`input`节点
`:not(selector)`	`:not`	选择非`p`节点的全部节点
`::selection`	`::selection`	选择被用户选取的节点部分

另外，还有一种比较经常使用的选择器是XPath，这种选择方式后面会详细介绍。

本节介绍了网页的基本结构和节点间的关系，了解了这些内容，咱们才有更加清晰的思路去解析和提取网页内容。