爬取《流浪地球》过程中遇到的反爬虫

这两天写了一个爬虫，爬取豆瓣中《流浪地球》的影评，并分析这些影评。这篇文章我不讲如何爬取的，来说一说我在爬取的过程中遇到的反爬虫。 必要的请求头的字段 对于上面的每一个请求字段，把必要的加在请求头上，比如：referer，user-agent等。  用户登陆问题 刚开始，我认为豆瓣不需要登陆就能看到所有的评论，但是，在实际的操作过程中，如果你不登陆豆瓣网，那么每一页第10个影评你点击去必定是下面这

>>阅读原文<<