请求头转换为字典

 

 

咱们在写爬虫的时候常常须要拷贝浏览器的请求头来使用，可是拷贝过来的并非字典不能直接使用，怎么能一键转换其为字典形式呢，下面介绍几种方式：

方法一，不够优雅：

 

 

方法二

 

 

能够发现复制请求头很简单了，只要把请求头所有copy下来，而后用headers_raw_to_dict 转一下，就直接变成了dict了.

推荐方法

方法三

借助IDE的正则替换（PyCharm为例）
PyCharm中替换的快捷键是Ctrl+R，选中Regex正则模式

 

源匹配为 (.*): (.*)$
替换匹配为 "$1": "$2",

方法四：Chrome插件Postman

Postman是很强大的调试工具，可是目前Google已经放弃了Chrome App，目前在商店里只能直接搜索到插件。

 

 

你能够安装插件之后点击连接获取Postman App：

 

 

 

 

开启Postman Interceptor，访问的任意请求都会被Postman截获。
在Postman点击请求-Code-选择Python-选择相应方式便可。

 

 

能够看到Postman支持很是多种语言的导出。
能够看到Postman的确是个很是强大的工具，甚至能够直接帮咱们生成requests代码了，而不单单是把headers转化为字典…
可是呢，我我的感受使用Postman来干这件事有种杀鸡焉用牛刀的感受。这款工具过重了…你们须要衡量学习成本，只作爬虫而不作Web开发的话估计用的会少一些。另外一方面就是可能依然有人有人没办法访问Google…

方法五：使用curlconverter

curl.trillworks.com/
使用这个方法前咱们须要知道什么是curl。
curl是Linux命令行下的文件传输工具，能够直接访问URL，支持多种协议和参数设置甚至cookie设置。简单来讲，就是能够模拟一个请求。
Chorme浏览器的开发工具支持直接copy as curl，因此咱们只须要这么作：
在开发工具中选中请求copy as curl，而后粘贴到网站表单中，得到Python代码。

 

 

这个网站只支持Python、NodeJS和PHP。这种轻量级的方法应该是最方便的一种了…