Scrapy爬取银行理财产品信息（共12多万条）并存入MongoDB

本次Scrapy爬虫的目标是爬取“融360”网站上全部银行理财产品的信息，并存入MongoDB中。网页的截图以下，所有数据共12多万条。ide 咱们再也不过多介绍Scrapy的建立和运行，只给出相关的代码。关于Scrapy的建立和运行网站 修改items.py，代码以下，用来储存每一个理财产品的相关信息，如产品名称，发行银行等。blog 建立爬虫文件bankSpider.py，代码以下，用来爬取网

>>阅读原文<<