百度百科全站爬取教程

百度百科全站 目前有16,330,473个词条 这里介绍一个基于scrapy的分布式百度百科爬虫，能够全量爬取百度百科的词条 github地址 特性 百科类网站全站词条抓取，包括百度百科、互动百科、wiki中英文站点； 支持断点续爬； 支持缓存百科词条页面； 可分布式部署； 经过单机测试，在i9-9900K 内存64G 100M网络带宽下，百度百科词条一天可以抓取大概50w条(默认系统配置下)；互

>>阅读原文<<