1.了解Scrapy爬虫框架

Scrapy是一个爬虫框架而非功能函数库,简单地说,它是一个半成品,可以帮助用户简单快速地部署一个 专业的网络爬虫。Scrapy爬虫框架主要由引擎(Engine)、调度器(Scheduler)、下载器( Downloader)、Spiders、Item Pipelines、下载器中间件(Downloader Middlewares)、Spider中 间件(Spider Middlewares)这7
相关文章
相关标签/搜索