大数据之一：Hadoop安装

时间 2020-05-12

原文原文链接

1、安装Hadoop

1.先解压hadoop到相关的文件夹中

2.进入到解压好的文件夹之后，对相关文件进行修改

3.配置hadoop-env.sh

vi hadoop-env.sh:
export= JAVA_HOME=/opt/inst/jdk181

4.配置core-site.xml

vi core-site.xml

<property>
                <name>fs.defaultFS</name>
                <value>hdfs://bigdata:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoopdata</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.users</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>

5.配置hdfs-site.xml

vi hdfs-site.xml

<property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>

6.配置cp mapred-site.xml.template mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

7.vi mapred-site.xml

<property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

8.vi yarn-site.xml

vi

9.vi /etc/profile

export HADOOP_HOME=/opt/bigdata/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

10.更新并格式化

source  /etc/profile
hdfs namenode -format

11.启动

start-all.sh

jps
#查看进程

12.把linux导入到hadoop中

hdfs dfs -put /opt/a.txt  /cm/
hdfs dfs -ls /cm

Hadoop理解

三大核心

1.HDFS: Hadoop Distribute File System 分布式文件系统

NameNode:主节点，目录node

DataNode：从节点，数据linux

SecondaryNameNode：主节点的备份shell

2.YARN：Yet Another Resource Negotiator 资源管理调度系统

调度的是内存的资源和CPU的算力框架

经过ResourceManager（只有一个）来调度分布式

ResourceManager主要做用：ide

1.处理客户端请求oop

2.监控NodeManagercode

3.启动或监控ApplicationMaster（）orm

4.资源的分配或调度xml

NodeManager（多个）

NodeManager主要做用：

1.管理单个节点上的资源

2.处理来自ResourceManager的命令

3.处理来自ApplicationMaster的命令

3.MapReduce：分布式运算框架

运算的