爬虫scrapy的结构理解

爬虫scrapy框架-结构自我理解 爬虫由 spider， Item， Pipeline， Middleware, setting构成 在spider中（spider是一个项目蜘蛛）含有这个项目的名字，项目的域名，项目开始的网址 含有三个变量： **name：**项目的名字， **allowed_domains：**后续的爬取的网址都必须在这个域名之下， **start_urls：**项目开始的网

>>阅读原文<<