基于Python3.6爬虫 采集知网文献

最近因公司需求采集知网数据（标题、来源、关键字、作者、单位、分类号、摘要、相似文献这些字段），由于知网防爬太强，内容页链接加密，尝试了pyspider、scrapy、selenium，都无法进入内容页，直接跳转到知网首页。于是只好采用知网的一个接口进行采集：链接: link，以下是两个网站关于“卷积神经网络”的期刊数据量相比如下图所示： 知网搜索结果： 远见搜索结果： 仔细观察会发现，该网站是po

>>阅读原文<<