大数据架构

大数据架构和技术选型 大数据架构 源数据层： 1、sdk日志埋点 2、日志文件：爬虫日志、业务日志 3、关系型数据库：mysql、oracle等 数据采集层： 1、离线：flume、Sqoop、Nifi 2、实时：filebeat、nginx+lua 补充：当数据量达到5亿左右的时候，filebeat+logstash采集数据到hdfs，数据会出现丢失的情况，所以此种方案不适合用于大数据存储到hd

>>阅读原文<<