scrapy 框架实践爬虫--思路篇

scrapy 框架实践爬虫–思路篇 1. 写在最开始 最近接触了一下 scrapy 框架 , 决定试用这个框架写一个简单的爬虫。看标题就知道 , 这篇文章主要是了解 scrapy 框架并讲解下爬虫的大致思路 , 过程后续会再开博客进行讲解。 在写爬虫之前 , 需要知道一下 , 这个爬虫要做什么事情。简单来说就做了以下三件事: 1、爬取目标网页 2、从网页中提取所需数据 3、存放于本地数据库中 2.

>>阅读原文<<