-http协议和Chrome抓包

http协议和Chrome抓包工具html

什么是 http 和 https 协议：前端

HTTP协议：全称HyperText transfer Protocol，中文意思是超文本传输协议，是一种发布和接收HTML页面的方法。服务器端口号是80端口。python

HTTPS协议：是HTTP协议的加密版本，在HTTP下加入了SSL层。服务器端口号是443端口。浏览器

在浏览器中发送一个http请求的过程：服务器

当用户在浏览器的地址栏中输入一个URL并按回车键以后，浏览器会向HTTP服务器发送HTTP请求。HTTP请求主要分为“Get”和“Post”两种方法。
当咱们在浏览器输入URL：http://www.baidu.com的时候，浏览器发送一个Request请求去获取http://www.baidu.com的html文件，服务器把Response文件对象发送回给浏览器。
浏览器分析Response中的HTML，发现其中引用了不少其余文件，好比Image文件，CSS文件，JS文件。浏览器会自动再次发送Request去获取图片，CSS文件，或者JS文件。
当全部的文件都下载成功后，网页会根据HTML语法结构，完整的显示出来。

url详解：cookie

url 是 Uniform Resource Locator 的简写，统一资源定位符。网络

一个URL 由如下几部分组成：工具

scheme://host:port/path/?query-string=xxx#anchorpost

在浏览器中请求一个 url ，浏览器会对这个 url 进行一个编码。除英文字母，数字和部分符号外，其余的所有使用百分号+十六进制码进行编码。网站

经常使用的请求方法：

在 http 协议中，定义了八种请求方法。这里介绍两种经常使用的请求方法，分别是 get 请求和 post 请求。

以上是在网站开发中经常使用的两种方法。而且通常状况下都会遵循使用的原则。可是有的网站和服务器为了作反爬虫机制，也常常会不按常理出牌，有可能一个应该使用 get 方法的请求就必定要改为 post 请求，这个要视状况而定。

请求头常见参数：

在 http 协议中，向服务器发送一个请求，数据分为三部分，第一个是把数据放在 url 中，第二个是把数据放在 body 中（在 post请求中），第三个就是把数据放在 head 中。这里介绍在网络爬虫中常常会用到的一些请求参数：

User-Agent：浏览器名称。这个在网络爬虫中常常会被使用到。请求一个网页的时候，服务器经过这个参数就能够知道这个请求是由哪一种浏览器发送的。若是咱们是经过爬虫发送请求，那么咱们的 User-Agent 就是 Python，这对那些有反爬虫机制的网站来讲，能够轻易的判断你这个请求是爬虫。所以咱们常常要设置这个值为一些浏览器的值，来假装咱们的爬虫。
Referer：代表当前这个请求是从哪一个 url 过来的。这个通常也能够用来作反爬虫技术。若是不是从指定页面过来的，那么就不作相关的响应。
Cookie：http 协议是无状态的。也就是同一我的发送了两次请求，服务器没有能力知道这两个请求是否来自同一我的。所以这时候就用 Cookie 来作标识。通常若是想要作登陆后才能访问的网站，那么就须要发送 cookie 信息了。

常见响应状态码：

Chrome 抓包工具：

Chrome 浏览器是一个很是亲近开发者的浏览器。能够方便的查看网络请求以及发送的参数。对着网页右键->检查。而后就能够打开开发者选项。以下：