通过几个月的摸索、实践、调试,对Scrapy的使用掌握的比较熟练了。而且结合Selenium的使用,目前已经完成了当当图书数据的抓取,大概260多万条吧,而且每隔几天会自动抓取新增图书数据。调试
这几个月不管对于Scrapy仍是Selenium的使用,都有了很多的收获。数据
美中不足的是当当的数据比较杂乱,而且图书标题等信息也不够规范,接下来打算抓取豆瓣和京东图书的数据,争取将这份数据给完善起来。图书