大数据测试之Hadoop的基本概念

大数据测试之Hadoop的基本概念

 

     poptest是国内惟一一家培养测试开发工程师的培训机构，以学员能胜任自动化测试，性能测试，测试工具开发等工做为目标，也是国内最先探索大数据测试培训的机构，开发了独有的课程体系。若是对课程感兴趣，请你们咨询qq：908821478，咨询电话010-84505200。

 

1、服务形式

       Saas（Software as a Service）基础设施做为服务、Paas（Platform as a service）平台做为服务、Iaas（Infrastructure as a Service）软件做为服务。

 

2、云计算技术体系结构

      物理资源层：计算机、存储器、网络设施、数据库、软件。

      资源池层：计算资源池、存储资源池、网络资源池、数据资源池、软件资源池。

      管理中间层：负责资源管理、任务管理、用户管理和安全管理等工做。

      SOA构建层：服务接口、服务注册、服务查找、服务访问、服务工做流。

 

3、HDFS文件系统

      HDFS：用于提供高吞吐量的分布式文件系统，用GFS实现开源。hadoop分布式软件架构的基础部件。默认每一个数据块有两个备份，备份子不一样的位置上。

      NameNode:HDFS集群中只有一个NameNode。管理文件系统全部的元数据，包括名字空间、访问控制信息、文件到块的映射信息、文件块的位置信息等。

      DataNode:部署在物理机器上，负责数据的存储和管理。名字节点用心跳和NameNode指示是否存活。

 

4、MapReduce实现机制

       Map：数据的分片统计。

       Shuffle：数据从Maptask到Reducetask传输过程，是mapreduce的核心。

       Reduce：数据的聚合统计。