基于Scrapy、Redis、elasticsearch和django打造的搜索引擎

1.需求分析 1.1  爬取两个目标网站 伯乐在线：http://www.jobbole.com/ 刺猬实习：https://www.ciweishixi.com/ 1.2  将数据存储到合适的数据库 由于我们要做的是搜索引擎，传统的关系型数据库不是太适合，而且需要对部分字段进行解析，elasticSearch为我们的首选 1.3  快速搭建网站 使用django后端框架，进行快速网站开发。Dja

>>阅读原文<<