Hadoop 安装和配置

安装

建立用户

sudo useradd -m hadoop -s /bin/bash

sudo ubuntu中权限管理机制，管理员给普通用户执行root权限执行的操做，须要当前用户密码

设置密码

sudo passwd hadoop

增长管理员权限

sudo adduser hadoop sudo

更新apt 软件源

sudo apt-get update

安装vim编辑器

sudo apt-get install vim

安装SSH (client and Server)

ubuntu 默认安装了ssh client
sudo apt-get install openssh-server

登陆本机

ssh localhost

退出
exit

配置SSH 无密码登陆

# ~ 表示当前用户主文件夹 /home/用户名 

cd ~/.ssh  #若是没有目录 先执行一次ssh localhost
ssh-keygen -t rsa  #有提示 回车就行

cat ./id_rsa.pub >> ./id_authorized_keys #加入受权

SSH 能预防  DNS欺诈 IP欺骗

1.口令
用本身的帐户密码 远程登陆服务器(数据加密)  ip欺骗
2.密钥
建立密钥，并拷贝在须要访问的服务器上 加入id_authorized_keys
(登陆时间长)

Hadoop2 安装

下载地址

下载 stable

下载之后 解压 重命名 赋予权限

#解压到 /usr/local下
sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -c /usr/local

cd /usr/local
sudo mv ./hadoop-2.6.0/ ./hadoop
sudo chown -R hadoop ./hadoop

单机配置

修改配置文件

路径： usr/local/hadoop/etc/hadoop/
core-site.xml
hdfs-site.xml

NameNode初始化

./bin/hdfs namenode -format

启动NameNode an DataNode守护进程

./sbin/start-dfs.sh

DataNode启动失败

./sbin/stop-dfs.sh #关闭
rm -r ./tmp  #删除tmp文件 原hdfs 全部数据
./bin/hdfs namenode -format #格式化 NameNode
./sbin/start-dfs.sh #重启