Scrapy爬虫框架初识

scrapy是python最有名的爬虫框架之一，可以很方便的进行web抓取，并且提供了很强的定制型，这里记录简单学习的过程和在实际应用中会遇到的一些常见问题 一、安装 在安装scrapy之前有一些依赖需要安装，否则可能会安装失败，scrapy的选择器依赖于lxml，还有Twisted网络引擎，以下是windows安装: Scrapy的安装： 1. scrapy需要安装第三方库文件，lxml和Twi

>>阅读原文<<