ISASearch:基于分布式爬虫的信安技术文章搜索引擎

摘 要 随着大数据时代的到来，信息的获取与检索尤其重要，如何在海量的数据中快速准确获取到咱们须要的内容显得十分重要。所以本项目为了更好的整合利用安全领域特有的社区资源优点，首先使用Scrapy爬虫框架结合NoSQL数据库Redis编写分布式爬虫，并对先知、安全客、嘶吼三个知名安全社区进行技术文章的爬取；而后选取ElasticSearch搭建搜索服务，同时提供了RESTful web接口；最后经过D

>>阅读原文<<