爬虫基础-http请求的基础知识

百度百科上这么介绍爬虫：

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更常常的称为网页追逐者），是一种按照必定的规则，自动地抓取万维网信息的程序或者脚本。

在开发爬虫时经常使用的工具：chrome浏览器，fiddler工具，postman插件。

有关fiddler知识的地址：http://kb.cnblogs.com/page/130367/

下面普及最基础的知识：Http请求。（下面知识来源于：http://www.runoob.com/http/http-intro.html）

定义：

HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。TTP是一个基于TCP/IP通讯协议来传递数据（HTML 文件, 图片文件, 查询结果等）。

工做原理：

HTTP协议工做于客户端-服务端架构为上。浏览器做为HTTP客户端经过URL向HTTP服务端即WEB服务器发送全部请求。

Web服务器有：Apache服务器，IIS服务器（Internet Information Services）等。

Web服务器根据接收到的请求后，向客户端发送响应信息。HTTP默认端口号为80，可是你也能够改成8080或者其余端口。

HTTP三点注意事项：

• HTTP是无链接：无链接的含义是限制每次链接只处理一个请求。服务器处理完客户的请求，并收到客户的应答后，即断开链接。采用这种方式能够节省传输时间。
• HTTP是媒体独立的：这意味着，只要客户端和服务器知道如何处理的数据内容，任何类型的数据均可以经过HTTP发送。客户端以及服务器指定使用适合的MIME-type内容类型。
• HTTP是无状态：HTTP协议是无状态协议。无状态是指协议对于事务处理没有记忆能力。缺乏状态意味着若是后续处理须要前面的信息，则它必须重传，这样可能致使每次链接传送的数据量增大。另外一方面，在服务器不须要先前信息时它的应答就较快。

HTTP 消息结构：

HTTP是基于客户端/服务端（C/S）的架构模型，经过一个可靠的连接来交换信息，是一个无状态的请求/响应协议。

一个HTTP"客户端"是一个应用程序（Web浏览器或其余任何客户端），经过链接到服务器达到向服务器发送一个或多个HTTP的请求的目的。

一个HTTP"服务器"一样也是一个应用程序（一般是一个Web服务，如Apache Web服务器或IIS服务器等），经过接收客户端的请求并向客户端发送HTTP响应数据。

HTTP使用统一资源标识符（Uniform Resource Identifiers, URI）来传输数据和创建链接。

一旦创建链接后，数据消息就经过相似Internet邮件所使用的格式[RFC5322]和多用途Internet邮件扩展（MIME）[RFC2045]来传送。

请求消息的结构图解：

客户端发送一个HTTP请求到服务器的请求消息包括如下格式：请求行（request line）、请求头部（header）、空行和请求数据四个部分组成，下图给出了请求报文的通常格式。

http请求头详解：（参考：https://kb.cnblogs.com/page/92320/）

请求头	请求头属性
Cache-Control	指定请求应遵循的缓存机制，其中缓存指令：no-cache、no-store、max-age、 max-stale、min-fresh、only-if-cached。 no-cache：表示请求的消息不能够缓存 no-store：在请求消息中，表示请求和响应的消息均不能够缓存，为了防止重要的消息被无心间泄露 max-age：表示客户机接收相应消息的最大时间（最大生存期） max-stale：表示客户机能够接受超时的消息，若是指定该值，表示能够接受超时以后指定值以内的消息 min-fresh：表示客户机能够接受当前时间加上指定值的时间以内的消息 only-if-cached：表示客户机只接受被缓存的内容
Date	表示消息发送的时间，时间的描述格式由rfc822定义。例如，Date:Mon,31Dec200104:25:57GMT。Date描述的时间表示世界标准时，换算成本地时间，须要知道用户所在的时区。
Pragma	反正页面被缓存，在http1.1版本中，与Cache-Control:no-cache，做用相同，在http1.0中没有实现Cache-Control.Pragma只有一个用法：Pragma:no-cache
Host	请求报头域主要用于指定被请求资源的Internet主机和端口号，它一般从HTTP URL中提取出来的。若是不是默认的80端口，会指定端口。若是不指定host，会报400错误
Referer	为服务器提供上下文信息，告诉服务器，我这个连接是从什么地方转过来的。
Range	只请求实体的一部分，服务器能够忽略此请求。 头500个字节：bytes=0-499。第二个500字节：bytes=500-999。最后500个字节：bytes=-500。500字节之后的范围：bytes=500-。第一个和最后一个字节：bytes=0-0,-1。同时指定几个范围：bytes=500-600,601-999
User-Agent	表示包含发送请求的用户信息。若是是浏览器发送的话，基本就是浏览器的信息
Accept	表示客户端可以接受的内容类型，例：text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8 若是想知道更多的MIME类型，去这个网站：http://www.w3school.com.cn/media/media_mimeref.asp
Accept-Charset	表示浏览器能够接受的字符编码集。在国内最经常使用的就是utf8,gbk。想了解更多：https://zh.wikipedia.org/wiki/%E5%AD%97%E7%AC%A6%E7%BC%96%E7%A0%81
Accept-Encoding	指定浏览器能够支持的web服务器返回内容压缩编码类型。经常使用的：compress, gzip
Accept-Language	指定浏览器能够接受的语言。经常使用的 en,zh
Accept-Ranges	能够请求网页实体的一个或者多个子范围字段。例：Accept-Ranges: bytes
Authorization	http受权的受权证书
Connection	是否保持持久链接。close：表示不保持持久链接，keep-alive：保持持久链接。（HTTP 1.1默认进行持久链接）
Cookie	存储的一些有关该客户机的信息，发送http请求时，会把该域名下的全部cookie，一块儿发送给服务器。
Content-Length	表示请求内容的长度
Content-Type	请求实体的MIME类型。若是想知道更多的MIME类型，去这个网站：http://www.w3school.com.cn/media/media_mimeref.asp
Expect	请求的特定的服务器类型，不是太明白，有懂得能够帮我解释一下
From	发出请求的用户的Email
If-Match	只有请求内容与实体相匹配才有效
If-Modified-Since	若是请求的部分在指定时间以后被修改则请求成功，未被修改则返回304代码
If-None-Match	若是内容未改变返回304代码，参数为服务器先前发送的Etag，与服务器回应的Etag比较判断是否改变
If-Range	若是实体未改变，服务器发送客户端丢失的部分，不然发送整个实体。参数也为Etag
If-Unmodified-Since	只在实体在指定时间以后未被修改才请求成功
Max-Forwards	限制信息经过代理和网关传送的时间
Proxy-Authorization	链接到代理的受权证书
TE	客户端愿意接受的传输编码，并通知服务器接受接受尾加头信息
Upgrade	向服务器指定某种传输协议以便服务器进行转换（若是支持）
Via	通知中间网关或代理服务器地址，通讯协议
Warning	关于消息实体的警告信息

 

http回应头详解：

 

请求头	请求头属性
Cache- Control	指定请求应遵循的缓存机制，其中缓存指令：no-cache、no-store、max-age、 max-stale、min-fresh、only-if-cached。 no-cache：表示请求的消息不能够缓存 no-store：在请求消息中，表示请求和响应的消息均不能够缓存，为了防止重要的消息被无心间泄露 max-age：表示客户机接收相应消息的最大时间（最大生存期） max-stale：表示客户机能够接受超时的消息，若是指定该值，表示能够接受超时以后指定值以内的消息 min-fresh：表示客户机能够接受当前时间加上指定值的时间以内的消息 only-if-cached：表示客户机只接受被缓存的内容
Date	原始服务器消息发出的时间，时间的描述格式由rfc822定义。例如，Date:Mon,31Dec200104:25:57GMT。Date描述的时间表示世界标准时，换算成本地时间，须要知道用户所在的时区。
Expires	响应过时的日期和时间
Pragma	不容许页面被缓存，在http1.1版本中，与Cache-Control:no-cache，做用相同，在http1.0中没有实现Cache-Control.Pragma只有一个用法：Pragma:no-cache
User-Agent	表示包含发送请求的用户信息。若是是浏览器发送的话，基本就是浏览器的信息
Accept-Ranges	能够请求网页实体的一个或者多个子范围字段。例：Accept-Ranges: bytes
Age	从原始服务器到代理缓存造成的估算时间（以秒计，非负）
Allow	对某网络资源的有效的请求行为，不容许则返回405,请求行为：Get,Post,Head等，下面会重点介绍
Content-Encoding	web服务器支持的返回内容压缩编码类型
Content-Language	响应体的语言
Content-Location	请求资源可替代的备用的另外一地址
Content-MD5	返回资源的MD5校验值
Content-Range	在整个返回体中本部分的字节位置
Connection	是否保持持久链接。close：表示不保持持久链接，keep-alive：保持持久链接。（HTTP 1.1默认进行持久链接）
Cookie	存储的一些有关该客户机的信息，发送http请求时，会把该域名下的全部cookie，一块儿发送给服务器。
Content-Length	响应体内容的长度
Content-Type	返回内容的MIME类型。若是想知道更多的MIME类型，去这个网站：http://www.w3school.com.cn/media/media_mimeref.asp
Via	通知中间网关或代理服务器地址，通讯协议
Warning	关于消息实体的警告信息
ETag	请求变量的实体标签的当前值
Last-Modified	请求资源的最后修改时间
Location	用来重定向接收方到非请求URL的位置来完成请求或标识新的资源
Proxy-Authenticate	它指出认证方案和可应用到代理的该URL上的参数
refresh	应用于重定向或一个新的资源被创造，在5秒以后重定向（由网景提出，被大部分浏览器支持）
Retry-After	若是实体暂时不可取，通知客户端在指定时间以后再次尝试
Server	web服务器软件名称
Set-Cookie	设置Http Cookie
Trailer	指出头域在分块传输编码的尾部存在
Transfer-Encoding	文件传输编码
Vary	告诉下游代理是使用缓存响应仍是从原始服务器请求
WWW-Authenticate	代表客户端请求实体应该使用的受权方案

 

关于请求头与回应头，更多的能够访问W3C官网：https://www.w3.org/Protocols/rfc2616/rfc2616-sec14.html

 

http请求方法：

（转自：http://www.runoob.com/http/http-methods.html）

HTTP1.0定义了三种请求方法： GET, POST 和 HEAD方法。

HTTP1.1新增了五种请求方法：OPTIONS, PUT, DELETE, TRACE 和 CONNECT 方法。

请求方法	描述
GET	请求指定的页面信息，并返回实体主体。
HEAD	相似于get请求，只不过返回的响应中没有具体的内容，用于获取报头
POST	向指定资源提交数据进行处理请求（例如提交表单或者上传文件）。数据被包含在请求体中。POST请求可能会致使新的资源的创建和/或已有资源的修改。
PUT	从客户端向服务器传送的数据取代指定的文档的内容。
DELETE	请求服务器删除指定的页面。
CONNECT	HTTP/1.1协议中预留给可以将链接改成管道方式的代理服务器。
OPTIONS	容许客户端查看服务器的性能。
TRACE	回显服务器收到的请求，主要用于测试或诊断。

http状态码：

（转自：http://www.runoob.com/http/http-status-codes.html）

分类	分类描述
1**	信息，服务器收到请求，须要请求者继续执行操做
2**	成功，操做被成功接收并处理
3**	重定向，须要进一步的操做以完成请求
4**	客户端错误，请求包含语法错误或没法完成请求
5**	服务器错误，服务器在处理请求的过程当中发生了错误