当爬虫遇上重定向

爬虫之处理重定向问题 问题导论 什么是重定向？ 简单的说，重定向就是请求被转发到其他页面去了 在生活中，当我们打开一个网址时，往往需要等待稍长一段时间，而最终 的网址也发生的 变化，这就是重定向。如果我们日常用浏览器浏览网站倒是没有什么问题，但是，当我们使用爬虫来爬取这样的页面时，真正的网址就会被忽略。那么，我们该如何处理这样的情况呢？ 实例分析 下面我们以两个个真实的网址，我们要提取它的titl

>>阅读原文<<