python利用requests自定义user-agent爬取网站

       前一段写了一个爬取墨迹天气的小爬虫，今天突然发现不能用了，因为是墨迹天气，反爬机制应该没有那么严格，应该解决一下user-agent的问题就可以了，写这篇博客，说一下requests的自定义user-agent的方式。 首先登录你想要爬取的网站： 我使用的是Chrome，按F12或者右键检查，进入开发者工具，点击network，可以看到，下面是空的： 然后随便点击一下，比如，点击一下

>>阅读原文<<