scrapy爬虫

       感觉现在爬虫很火，搜索有关于python类容总是弹出关于爬虫的信息，我也感觉爬虫这个东西很有意思所有花了一点时间来学习爬虫，现在简单的记录一下爬虫的环境安装，爬虫爬取过程，静态页面爬取案例，动态加载页面爬取，存储数据库。使用scrapy框架来爬取数据会很简洁，也比较易学，我使用的是scrapy框架爬取数据。 1.环境配置 （1）安装python3.4，3.5，3.6都行，（2）安装s

>>阅读原文<<