Scrapy之Crawlspider实例：爬取沪江网校所有课程信息

点击此处查看要爬取的网页 如图，利用Crawlspider将所有的课程信息爬取下来，并存入MongoDB数据库 整体思路清晰，简单，不过有一个要注意的点，在插入到数据库的时候 items.py import scrapy class HujiangwangxiaoItem(scrapy.Item): _id = scrapy.Field() # 插入到MongoDB数据库最好一定要加上

>>阅读原文<<