写python爬虫用到的几个工具

一、浏览器抓包工具 作用主要是解析浏览器客户端与服务器之间的消息交互。 可以看到HTTP消息头、消息行和消息体。 得到爬虫程序必须的 UA、cookie等信息，并能够分析不同的浏览器请求所带的参数以及浏览器的响应。 以CHROME为例，在网页右键检查，或直接F12就可以打开抓包工具（开发工具）。 其中最有用的是NETWORK 这个tab，可以看到各个消息，JS,CSS，以及图片调用的情况。 二、代

>>阅读原文<<