首先先去官网下载hadoop编译完的tar包,能够去appche官网下载地址进行下载
可是我这里建议仍是去CDH下载下载地址,由于这里有打补丁,能够减小一些bug
版本的话我建议仍是下载hadoop2.x版本的,由于1.x如今没人用了,3.x又太新有bug
而后咱们下载的话要下载后面带bin和直接带tar.gz后缀的,不要选择src.tar.gz的java
如今咱们就开始来部署了
首先咱们先建立一个hadoop用户useradd hadoop
而后咱们切换su - hadoop
接着咱们建立四个文件夹,为了规范:mkdir app software data logs
接着咱们用rz命令把下载好的hadoop的tar上传到software文件夹cd software而后rz 上传
上传以后解压tar -xzvf + tar包名称 接着建立一个软连接指向app文件夹ln -s 解压完的名称 + /home/hadoop/app
接着部署java,不会部署的请看我linux的文章,这里很少讲node
接下来咱们打开etc/hadoop/hadoop-env.sh 在里面配置java环境变量,切记不是在根目录的etc
而后咱们再打开etc/hadoop/core-site.xml,在里面配置linux
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
而后再打开etc/hadoop/hdfs-site.xml配置web
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
接着咱们要来设置免密码登陆,输入ssh-keygen 连续按下三次回车键,而后咱们输入ssh localhost date 这是免密登陆还没设置成功,咱们cd到家目录,而后ll -a找到.ssh文件cd进去,而后咱们会看见shell
-rw-------. 1 hadoop hadoop 1679 Jan 4 11:51 id_rsa -rw-r--r--. 1 hadoop hadoop 398 Jan 4 11:51 id_rsa.pub -rw-r--r--. 1 hadoop hadoop 1187 Jan 4 12:06 known_hosts
咱们须要将公钥文件追加给authorized_keys:cat id_rsa.pub >> authorized_keys,而后咱们还须要作一步重要的事情,就是修改权限chmod 600 authorized_keys,如今咱们的免密登陆就能够了
而后如今有不少小伙伴又会遇到一个问题就是ssh localhost能够登陆,但用机器名称登陆不了,这是咱们就要切换到root用户进行配置apache
su - root vi /etc/hosts
在里面加上你的ip地址后面跟上你的主机名,这时切换回hadoop用户就能够用机器名进行免密登陆了
而后如今咱们要格式化hdfs(在hadoop下的app下的hadoop目录进行操做):bin/hdfs namenode -format
而后启动节点sbin/start-dfs.sh,启动完成后若是咱们输入jps看到有四个节点就是正常的app
[hadoop@hadoop002 hadoop]$ jps 8869 SecondaryNameNode 8984 Jps 8698 DataNode 8570 NameNode [hadoop@hadoop002 hadoop]$
那不少小伙伴有的会缺这个节点缺那个节点,这时咱们也不要惧怕,多是你配置的有问题,但仍是有解决办法的,咱们先输入cd回到家目录,而后输入ll -a 查看全部文件,咱们会看到一个logs文件夹,cd进去cd logs,咱们会看到有不少节点的日志,你哪一个节点没开启就cat查看那个日志的error,而后通常你就知道怎么解决了,不会看英文就到网易词典翻译,这里不说太多了,最后咱们要关闭节点就是sbin/stop-dfs.shssh