Python爬取无限滚动页面

在本教程中，我将讨论如何使用Python抓取无限滚动页面。 您将了解如何在Web开发工具中分析HTTP请求，并使用过滤器来帮助您快速找到获取真实数据的目标请求。 本教程还包含两个基于Scrapy和的工作代码文件Beautifulsoup。您可以比较它们以更好地理解Python世界中顶级的两个Web抓取框架。 让我们开始吧。 背景上下文 如今，越来越多的网站开始用它infinite scrollin

>>阅读原文<<