python scrapy多进程新闻爬虫

3月份的时候，由于工作需要使用python+scrapy框架做了一个新闻舆情的爬虫系统，当时任务比较紧自己也没有搞过爬虫，但最终还是较好的完成了任务，现在把做的大致思路记录分享一下。 首先，展示一下部分截图吧： 本文主要内容如下： 开发背景 开发的大致思路 代码框架的介绍 开发背景 近两年国家对网络的内容监管十分的严格，前一两年被称为“网络直播年”因此出现了有很多直播公司。我们需要第一时间知道有关

>>阅读原文<<