大数据生态圈集群搭建汇总--Hadoop & Hive & Spark & Kafka & HBase & Sqoop & Flume

集群搭建

• 集群规划汇总
• Linux 环境准备
• Hadoop Ha 集群搭建
• Yarn 搭建
• Hive 搭建
• Spark 搭建
• Spark Standalone 模式
• Spark Yarn 模式
• Kafka 搭建
• Hbase 搭建
• Sqoop 搭建
• Flume 搭建

本文将持续更新…

集群规划汇总

角色	node01	node02	node03	node04	client
Hadoop-NameNode	√(主)	√(备)
Hadoop-DataNode		√	√	√
JournalNode	√	√	√
zookeeper		√	√	√
ZookeeperFailoverController	√	√
Hadoop-Client					√
Yarn-ResourceManager	√(主)	√(备)
Yarn-NodeManager		√	√	√
Yarn-Client					√
Hive-Server					√
Hive-Metastore(mysql)					√
Hive-client	√

Linux 环境准备

  博客地址: (一)Linux环境搭建

Hadoop Ha 集群搭建

  博客地址: (二)高可用彻底分布式搭建

Yarn 搭建

  博客地址: (三)Yarn资源调度器搭建

Hive 搭建

  博客地址: (四)Hive搭建的三种模式

Spark 搭建

Spark Standalone 模式

  博客地址:

Spark Yarn 模式

  博客地址:

Kafka 搭建

  博客地址:

Hbase 搭建

  博客地址:

Sqoop 搭建

  博客地址:

Flume 搭建

  博客地址: