Scrapy框架的使用之Scrapy通用爬虫

转载自：https://juejin.im/post/5b026d53518825426b277dd5css 经过Scrapy，咱们能够轻松地完成一个站点爬虫的编写。但若是抓取的站点量很是大，好比爬取各大媒体的新闻信息，多个Spider则可能包含不少重复代码。 html 若是咱们将各个站点的Spider的公共部分保留下来，不一样的部分提取出来做为单独的配置，如爬取规则、页面解析方式等抽离出来作成一

>>阅读原文<<