结合Wireshark捕获分组深刻理解TCP/IP协议栈

摘要：

    本文剖析了浏览器输入URL到整个页面显示的整个过程，以百度首页为例，结合Wireshark俘获分组进行详细分析整个过程，从而更好地了解TCP/IP协议栈。

 

1、俘获分组

1.1 准备工做

(1) 清空浏览器缓存

    首先清空Web浏览器的高速缓存，确保Web网页是从网络中获取，而不是从高速缓冲取得[1]。谷歌浏览器，Options --> Under the Hood --> Clear browsing data。

(2)清空DNS缓存

    在客户端清空DNS高速缓存，确保Web服务器域名到IP地址映射是从网络请求。在Windows XP，在命令行输入ipconfig/flushdns完成操做。

图1 清空DNS高速缓存

(3)设置过滤规则

    为了便于分析，在截取数据包以前，设置过滤规则。在Filter ToolBar，输入过渡规则正则表达式，这里过滤ARP协议(地址解析协议)，以下：

图2 设置过滤规则

(4)关闭网络应用程序

    为使俘获的报文仅跟访问URL相关，关闭其余网络应用程序(如QQ)。

1.2 启动Wireshrk分组俘获器

Capture --> Interfaces，弹出以下窗口，设置接口，点击Start启动分组俘获器。

图3 启动Wireshark分组俘获器

1.3 浏览器输入URL

    这里，以百度为例，在浏览器输入：http://www.baidu.com，回车。

1.4 中止分组俘获

图4 Wireshark俘获分取实例

2、概述

    Web的应用层协议是超文本传输协议HTTP，HTTP协议由两部分程序实现：客户机程序、服务器程序，协议定义了这些报文的格式以及客户机和服务器如何进行报文交换的。Web服务器用于存储Web对象，每一个对象由URL寻址，Web客户机一般指浏览器。浏览器向服务器发出对Web页中所包含对象的HTTP请求报文，服务器接受请求并用包含这些对象的HTTP响应报文进行响应。Web页是由对象组成，对象简单来讲就是文件(如图形文件、Java小程序、声音剪辑文件)，这些文件经过一个URL地址寻址。Web页一般含有一个基本的HTML文件和几个引用对象。

    从在浏览器输入http://www.baidu.com/并回车，到浏览器窗口显示百度首页，这中间经历多个过程，也涉及到诸多协议(如图4)，接下来，结合俘获的分组分析这期间都发生了些什么。

2.1 域名解析(17~18)

首先须要将URL(存放对象的服务器主机名和对象的路径名)解析成IP地址，具体步骤为：

(1)同一台用户主机上运行着DNS应用的客户机端(如浏览器)

(2)从上述URL抽取主机名www.baidu.com，传给DNS应用的客户机端(浏览器)

(3)该DNS客户机向DNS服务器发送一个包含主机名的请求(DNS查询报文)

(4)该DNS客户机收到一份回答报文(即DNS回答报文)，该报文包含该主机名对应的IP地址119.75.218.70

    步骤(3)、(4)分别对应于上图的前两条DNS报文1七、18，进一步获取这两步的细节，就得理解DNS协议，详情见：

博文《结合Wireshark捕获分组深刻理解TCP/IP协议栈之DNS协议》

2.2 创建TCP连接(19~24)

    HTTP使用TCP做为底层传输协议，须要先创建链接，即浏览器由IP地址定位的HTTP服务器发送一个TCP连接。TCP链接创建及TCP报文分析，见：

博文《结合Wireshark捕获分组深刻理解TCP/IP协议栈之TCP协议(TCP报文格式+三次握手实例)》

2.3 提取内容

2.3.1 概述

    客户机发送HTTP请求报文给服务器，服务器返回HTTP响应报文，关于HTTP报文格式及实例，详情见：

博文《结合Wireshark捕获分组深刻理解TCP/IP协议栈之HTTP协议》

    服务器返回客户机所请求的页面内容，交给浏览器，浏览器解释HTML文件(浏览器本质上是一个HTML解释器)，显示文本。服务器返回的实体主体部份内容以下(经过浏览器查看源代码或者查看响应报文的实体主体)：

图5 百度首页HTML语言

2.3.2 俘获分组分析(26~32)

从图4能够看出，HTTP请求报文到HTTP响应报文，中间还有若干TCP报文段，以下：

图6 请求至响应间相关报文段

看上去挺乱的，先给出我分析后的示意图，然后再分析，以下：

图7 请求至响应间相关报文段示意图

    首先，客户机发送HTTP请求报文25，服务器响应该报文26(由于HTTP传输层协议是TCP，可靠传输)。接着，服务器返回HTTP响应报文，因HTTP报文太大(3835字节)，网络层对其进行分片，共4片，以下图(截自Wireshark俘获的HTTP响应报文)：

图8 数据分片实例

    那为何每两个TCP报文段才有一个确认，这是因为为了提升效率，TCP实行累积确认，即收到多个报文段以后，再一次确认。

2.3 浏览器显示文本内容

    至此，浏览器收到百度首页基本HTML页面，浏览器解释该HTML页面(是否是也调用了JS解释器解释JavaScript脚本了？)，结果以下：

图9 浏览器解释百度首页基本HTML页面

很明显，这与平时看到的首页不一样，带X的框框、百度一下按钮，这是由于这些对象还未得到。

2.4 浏览器取回并显示文件中的全部对象

    浏览器(客户机的代理)会继续向相应的服务器请求所需内容，从Wireshark俘获分组可知，浏览器请求了图片、JavaScript对象，以下：

图10 浏览器请求文件中其余对象

    有一点我没搞懂，为什么请求/favicon.ico对象？在HTML文件找不到相关的代码，页面也没显示该图标。求指点，谢谢:-)

    这下Web页面全部对象都到齐了，浏览器解释全部对象并显示，最终若是以下：

图11 百度首页

    浏览器解释对象有3种方式：内置解释器(如HTML解释器)、插件、辅助应用程序。经过服务器上的各类脚本生成完整Web页面，服务器返回一个页面也返回一些有关页面的附加信息(包括MEME类型)，对于内置类型的对象直接由内置解释器解释，其余的，浏览器参照MIME类型表，调用相应的查看器处理该对象。

 

 

3、其余问题

3.1 其余DNS报文

    Wireshark俘获的分组中包含着不少DNS报文，事实上，只有前面两组DNS报文是须要的，其余的则是预取。能够看出，浏览器将百度首页HTML所涉及的URL(充分利用空闲时间，减小等待时间)

图12 DNS报文实例

    这么多的分组，如何快速配对呢？经过标识数快速配对(如上图所示)，或者打开报文在Domain Name System底下的一行Request In或Response In会告知与哪一个报文编号匹配。

3.2 其余TCP报文段

    其余TCP报文段，要么是TCP链接创建，要么是传输数据，根据博文《结合Wireshark捕获分组深刻理解TCP/IP协议栈之TCP协议(TCP报文格式+三次握手实例)》很容易分析的。

3.3 SSDP协议

    从图4能够看出，访问页面以前和以后有大量SSDP报文。SSDP(简单服务发现协议，Simple Service Discovery Protocol)定义了如何在网络上发现网络服务的方法。不管是控制点，或是UPnP设备，工做中都必然用到SSDP，设备接入网络以后，要利用它向网络广播本身的存在(广播的信息中还有设备位置的描述)，以便尽快与对应的控制点创建联系；控制点则利用SSDP来搜索本身将要控制的设备在哪里.而且能够排除已经存在的设备和控制点――只为新近的或还没有"联络"上的双方服务[1]。

3.4 NBNS

    Wireshark还俘获一个NBNS报文。网络基本输入/输出系统 (NetBIOS) 名称服务器 (NBNS) 协议是 TCP/IP 上的 NetBIOS (NetBT) 协议族的一部分，它在基于 NetBIOS 名称访问的网络上提供主机名和地址映射方法。

 

 

参考资料：

[1] 百度百科词条：SSDP

[2] Andrew S.Tanenbaum.计算机网络[M].

[3] 《计算机网络--自顶向下方法与Internet特点》[M].

[4] 百度百科词条：NBNS

本实例的Wireshark俘获分组pcapng原文件 Wireshark俘获分组实例.rar  

请求至响应间相关报文报visio原文件 请求至响应间相关报文段.rar   

from:http://blog.chinaunix.net/uid-9112803-id-3212207.html