聚焦Python分布式爬虫必学框架Scrapy 打造搜索引擎(四) - scrapy爬取技术文章网站

相关源码 搭建scrapy的开发环境，本文介绍scrapy的常用命令以及工程目录结构分析，本文中也会详细的讲解xpath和css选择器的使用。然后通过scrapy提供的spider完成所有文章的爬取。然后详细讲解item以及item loader方式完成具体字段的提取后使用scrapy提供的pipeline分别将数据保存到json文件以及mysql数据库中. 首先爬取一个网站前，我们需要分析网络的

>>阅读原文<<