聚焦Python分布式爬虫必学框架Scrapy 打造搜索引擎(四) - scrapy爬取技术文章网站

相关源码 搭建scrapy的开发环境，本文介绍scrapy的经常使用命令以及工程目录结构分析，本文中也会详细的讲解xpath和css选择器的使用。而后经过scrapy提供的spider完成全部文章的爬取。而后详细讲解item以及item loader方式完成具体字段的提取后使用scrapy提供的pipeline分别将数据保存到json文件以及mysql数据库中.css 首先爬取一个网站前，咱们须要

>>阅读原文<<