Scrapy介绍

在爬虫技术中,我们使用 Requests 和 Selenium 可以解决80%的需求,那么为什么我们还需要学习 Scrapy 框架呢?因为它可以使我们的爬虫更快、更强。 Scrapy 的基本概念 我们来看下官方文档的定义: Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。 其最初是为了 页面抓取 (更确切来说,
相关文章
相关标签/搜索