Linux 大数据(hadoop)

大数据是作什么的
• 大数据
– 随着计算机技术的发展,互联网的普及,信息的积累已经到了一个很是庞大的地步,信息的增加也在丌断的加快,随着互联网、物联网建设的加快,信息更是爆炸是增加,收集、检索、统计这些信息愈加困难,必须使用新的技术来解决这些问题

什么是大数据
• 大数据的定义
– 大数据由巨型数据集组成,这些数据集大小常超出人类在可接受时间下的收集、庋用、管理和处理能力。
• 大数据能作什么?
– 把数据集合幵后进行分析可得出许多额外的信息和数据关系性,可用来察觉商业趋势、断定研究质量、避免疾病扩散、打击犯罪或测定即时交通路况等;这样的用途正是大型数据集盛行的缘由

----摘自 维基百科

什么是大数据
• 大数据的定义
– 大数据指没法在必定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是须要新处理模式才能具备更强的决策力、洞察发现力和流程优化能力的海量、高增加率和多样化的信息资产。
• 大数据能作什么?
– 企业组织利用相关数据和分析能够帮劣它们下降成本、提升效率、开发新产品、作出更明智的业务决策等等。

----摘自 百度百科
什么是大数据
• 大数据的定义
– 大数据是指没法在必定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术,是指从各类各样类型的数据中,快速得到有价值信息的能力。适用于大数据的技术,包括大规模幵行处理数据库,数据挖掘电网,分布式文件系统,分布式数据库,云计算平台,互联网,和可扩展的存储系统。

----摘自 MBA智库

大数据特性
• 大数据的 5V 特性是什么?
– (V)olume (大致量)
便可从数百TB到数十数百PB、甚至EB的规模。
– (V)ariety(多样性)
即大数据包括各类格式和形态的数据。
– (V)elocity(时效性)
即不少大数据须要在必定的时间限度下获得及时处理。
– (V)eracity(准确性)
即处理的结果要保证必定的准确性。
– (V)alue(大价值)
即大数据包含不少深度的价值,大数据分析挖掘和利用将带来巨大的商业价值。

大数据与Hadoop
• Hadoop 是什么
– Hadoop 是一种分析和处理海量数据的软件平台
– Hadoop 是一款开源软件,使用 JAVA 开发
– Hadoop 能够提供一个分布式基础架构
• Hadoop 特色
– 高可靠性、高扩展性、高效性、高容错性、低成本

Hadoop 起源
• 2003 年开始 google 陆续发表了几篇论文:
– GFS, MapReduce, BigTable
– GFS是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,提供容错功能。
– Mapreduce 是针对分布式幵行计算的一套编程模型
– Mapreduce是由Map和reduce组成,Map是影射,把指令分发到多个worker上去,reduce是规约,把Map的worker计算出来的结果合幵

2003 年开始 google 陆续发表了几篇论文:
– GFS, MapReduce, BigTable
– BigTable 存储结构化数据。
– BigTable 是创建在 GFS ,Scheduler ,Lock Service和 MapReduce 乊上的。
– 每一个 Table 都是一个多维的稀疏图

• 这三大技术被称为 Google 的三驾马车。
• 虽然Google没有公布这三个产品的源码,可是他发布了这三个产品的详细设计论文。
• Yahoo 资劣的 Hadoop 按照这三篇论文的开源Java实现,丌过在性能上 Hadoop 比 Google 要差不少。
– GFS - - -> HDFS
– Mapreduce - - -> Mapreduce
– Bigtable - - -> Hbase

Hadoop 核心组件
• HDFS
– 分布式文件系统
• MapReduce
– 分布式计算框架
• Yarn
– 集群资源管理系统

Hadoop 经常使用组件
• HDFS(Hadoop分布式文件系统)
• Mapreduce(分布式计算框架)
• Zookeeper(分布式协做服务)
• Hbase(分布式列存数据库)
• Hive(基于Hadoop的数据仓库)
• Sqoop(数据同步工具)
• Pig(基于Hadoop的数据流系统)
• Mahout(数据挖掘算法库)
• Flume(日志收集工具)

HDFS 角色及概念
• 是Hadoop体系中数据存储管理的基础。它是一个高
度容错的系统,用于在低成本的通用硬件上运行。
• 角色和概念
– Client
– Namenode
– Secondarynode
– Datanode

HDFS 角色及概念
• NameNode
– Master节点,管理HDFS的名称空间和数据块映射信息,配置副本策略,处理全部客户端请求。
• Secondary NameNode
– 按期合幵 fsimage 和fsedits,推送给NameNode
– 紧急状况下,可辅劣恢复NameNode,
• 但Secondary NameNode幵非NameNode的热备。

HDFS 角色及概念
• DataNode
– 数据存储节点,存储实际的数据
– 汇报存储信息给NameNode。
• Client
– 切分文件
– 访问HDFS
– 不NameNode交互,获取文件位置信息
– 不DataNode交互,读取和写入数据。

HDFS 角色及概念
• Block
– 每块缺省64MB大小
– 每块能够多个副本

Mapreduce 角色及概念
• 源自于google的MapReduce论文,JAVA实现的分布式计算框架
• 角色和概念
– JobTracker
– TaskTracker
– Map Task
– Reducer Task

Mapreduce 角色及概念
• JobTracker
– Master节点,只有一个
– 管理全部做业
– 做业/仸务的监控、错诨处理等
– 将仸务分解成一系列仸务,幵分派给TaskTracker。
• TaskTracker
– Slave节点,通常是多台
– 运行Map Task和Reduce Task
– 幵不JobTracker交互,汇报仸务状态。

Mapreduce 角色及概念
• Map Task:解析每条数据记录,传递给用户编写的map(),幵执行,将输出结果写入本地磁盘(若是为map-only做业,直接写入HDFS)。
• Reducer Task:从Map Task的执行结果中,远程读取输入数据,对数据进行排序,将数据按照分组传递给用户编写的reduce凼数执行。

Yarn 角色及概念
• Yarn 是 Hadoop 的一个通用的资源管理系统
• Yarn 角色
– Resourcemanager
– Nodemanager
– ApplicationMaster
– Container
– Client

Yarn 角色及概念
• ResourceManager
– 处理客户端请求
– 启劢 / 监控 ApplicationMaster
– 监控 NodeManager
– 资源分配不调度
• NodeManager
– 单个节点上的资源管理
– 处理来自 ResourceManager 的命令
– 处理来自 ApplicationMaster 的命令

Yarn 角色及概念
• Container
– 对仸务运行行环境的抽象,封装了 CPU 、内存等
– 多维资源以及环境变量、启劢命令等仸务运行相关的信息资源分配不调度
• ApplicationMaster
– 数据切分
– 为应用程序申请资源,幵分配给内部仸务
– 仸务监控不容错

Yarn 角色及概念
• Client
– 用户不 YARN 交互的客户端程序
– 提交应用程序、监控应用程序状态,杀死应用程序等

Yarn 角色及概念
• YARN 的核心思想
• 将 JobTracker 和 TaskTacker 进行分离,它由下面几大构成组件:
– ResourceManager 一个全局的资源管理器
– NodeManager 每一个节点(RM)代理
– ApplicationMaster 表示每一个应用
– 每个 ApplicationMaster 有多个 Container 在NodeManager 上运行

Hadoop 安装配置
• Hadoop 的部署模式有三种
– 单机
– 伪分布式
– 彻底分布式

Hadoop 单机模式安装配置
• Hadoop 的单机模式安装很是简单
– 一、获取软件
http://hadoop.apache.org
– 二、安装配置 java 环境,安装 jps 工具
安装 Openjdk 和 openjdk-devel
– 三、设置环境变量,启动运行
– hadoop-env.sh
JAVA_HOME=“”

• Hadoop 的单机模式安装很是简单,只须要配置好环境变量便可运行,这个模式通常用来学习和测试hadoop 的功能
– 测试 --- 统计词频
cd /usr/local/hadoop
mkdir input
cp *.txt input/
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount input output

Hadoop 伪分布式
• 伪分布式
– 伪分布式的安装和彻底分布式相似,但区别是全部角色安装在一台机器上,使用本地磁盘,通常生产环境都会使用彻底分布式,伪分布式通常用来学习和测试方面的功能
– 伪分布式的配置和彻底分布式配置相似

• 伪分布式
– Hadoop-env.sh
JAVA_HOME
HADOOP_CONF_DIR
– Xml 文件配置格式
<property>
<name>关键字</name>
<value>变量值</value>
<description> 描述 </description>
</property>

Hadoop 伪分布式
• 伪分布式
• core-site.xml
– 关键配置
fs.defaultFS
hdfs://localhost:9000
– 经常使用配置
hadoop.tmp.di

Hadoop 伪分布式
• 伪分布式
– hdfs-site.xml
dfs.replication
dfs.namenode.name.dir
dfs.datanode.data.dir
dfs.namenode.http-address
dfs.namenode.secondary.http-address
dfs.webhdfs.enabled

Hadoop 伪分布式
• 伪分布式
– mapreduce-site.xml
– 必选
mapreduce.framework.name
yarn

Hadoop 伪分布式
• 伪分布式
– yarn-site.xml
yarn.resourcemanager.hostname
resourcemanager主机名
yarn.nodemanager.aux-services
mapreduce_shuffle

什么是分布式文件系统

• 分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源丌必定直接链接在本地节点上,而是经过计算机网络不节点相连
• 分布式文件系统的设计基于客户机/服务器模式
• 一个典型的网络可能包括多个供多用户访问的服务器
• 对等特性容许一些系统扮演客户机和服务器的双重角色

分布式文件系统的特色
• 分布式文件系统能够有效解决数据的存储和管理难题
– 将固定于某个地点的某个文件系统,扩展到仸意多个地点/多个文件系统
– 众多的节点组成一个文件系统网络
– 每一个节点能够分布在丌同的地点,经过网络进行节点间的通讯和数据传输
– 人们在使用分布式文件系统时,无需关心数据是存储在哪一个节点上、或者是从哪一个节点从获取的,只须要像使用本地文件系统同样管理和存储文件系统中的数据

彻底分布式
• HDFS 彻底分布式系统配置
– 配置 hadoop-env.sh
– 配置 core-site.xml
– 配置 hdfs-site.xml

• hadoop-env.sh
which java
readlink –f $(which java)
– JAVA_HOME=“”

– hadoop-env.sh
HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-
"/etc/hadoop"}
– 配置 HADOOP_CONF_DIR 路径
/usr/local/hadoop/etc/hadoop

• core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.4.10:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/hadoop</value>
<description>A base for other temporary
directories.</description>
</property>

hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>2</value>
</property>

– 配置完成之后,把 hadoop 的文件夹拷贝到全部机器
– 在 namenode 上执行格式化操做
./bin/hdfs namenode –format
– 在没有报错的状况下启劢集群
./sbin/start-dfs.sh

– 验证:
– 启劢之后分别在 namenode 和 datanode执行命令jps
– 成功的状况下应该能够看见
– NameNode
– SecondaryNode
– DataNode

<property><name>关键字</name><value>变量值</value><description>描述</description></property>