爬虫神器Scrapy初探

偶然在网上看到Scrapy这个网站抓取工具，心痒痒想试一下，这一试又是一晚上，成果来之不易，还是记录一下，万一以后用到呢，我用Scrapy抓取了我的CSDN博客信息，以下是整个过程。 1.安装 Scrapy pip install Scrapy 2.新建项目 打开命令行，定位到想要存储的目录，输入scrapy startproject article生成的项目结构如下： scrapy.cfg：项目

>>阅读原文<<