创新实训总结报告

1.分工 我在我们的创新实训队伍当中负责了知乎和头条数据的爬取和整理，实现了给定一个关键词从而查询提供相关问题的内容，更新时间，评论内容，评论数目以及赞同数量等其它数据属性的爬虫，通过爬取的数据存放到mysql中，通过构建本地Elasticsearch，kibana和logstash以及搭建云ELK服务实现了大批量数据的搜索功能，展示功能和分布式功能，能够提供问题排查，监控和预警，关联时间和数据分

>>阅读原文<<