Scrapy框架学习

最开始学习爬虫的时候，我用的是urllib2和BeautifulSoup这两个库，使用这两个库的时候，所有爬虫的框架都要自己写，一开始还觉得没什么，到最后写的越来越多的时候就觉得很麻烦，因为我的重点是爬取数据分析数据啊，不是浪费时间去写什么爬虫框架。 后来了解到scrapy这个框架，用这个框架写爬虫的话感觉真的非常爽，因为它真的很高效。比如原来你用urllib2和BeautifulSoup写个20

>>阅读原文<<