爬虫 — 生成的网页 headers

最近在弄爬虫，有些网站需要传入headers，自己将网站的 headers 一一弄下来形成字典太麻烦了。偶然发现 Chrome 可以生成一个叫 cURL 的东西，里面包含该网页的 headers 。就写了个函数自动提取并返回字典形式的 heades。 先介绍一下怎么获取到网页的 cURL: 按上面步骤执行就能得到下面的东西： curl "https://www.baidu.com/" -H "Co

>>阅读原文<<