hadoop介绍

hadoop：是java写的一个框架，能够理解成java写的一个应用，他主要是用来分布式存储和分布式计算。

1 为何须要分布式存储，由于单台设备不够存储，实现办法的hadoop分布式是文件系统hdfs

2 分布式计算：由于数据量很大、一台机器硬件资料有限，实现办法是yarn和MapReduce、yarn是资料的管理系统，MapReduce是把计算分发到yarn是进行处理，为何须要yarn是由于在计算过程当中会出现资源的争夺等等，须要yarn统一管理，MapReduce分两个过程，map和reduce。

 

hadoop的基本组件

1 通用组件、好比rpc调用

2 HDFS分布式文件系统、用来分布式存储。

3 yarn分布式资源管理

4 MapReduce分布式批处理

 

hadoop生态游不少组件

hive

HBASE

spark

等等