hadoop之离线处理电商项目架构和实现

处理流程 1.涉及的基本技术组件 Hadoop：HDFS MapReduce(清洗) YARN、须要部署Hadoop集群 Hive：外部表、SQL 、解决数据倾斜 、sql优化、基于元数据管理、SQL 到MR过程 Flume：将数据抽取到hdfs 调度：crontab、shell、Azkaban HUE：可视化的notebook，CM自带 ，排查数据 2.处理流程 大数据开发：关注的是二、

>>阅读原文<<