【Python 爬虫之旅 2】抓包工具fiddler的使用

为什么要使用fiddler 最近爬了好多网站，每个网站的访问方式、翻页方式都各有特色，每次我都要在第一步卡很长时间，这个时候正确使用抓包工具就是很有必要的了。 因为我们爬虫其实就是模拟浏览器去访问网站，而抓包工具是监测我们访问网站的，我们可以用浏览器访问一次即将要爬取的网站，然后在fiddler中查看http请求行的数据，如headers内容、data内容等，然后模仿浏览器访问的这些数据。 只要我

>>阅读原文<<