hadoop深刻了解（二）

1、hadoop安装

1.设置静态ip，在windows下查看虚拟机ip，同事更改centos的网络连接为host-only模式，更改Addresscip ,netmask.gateway.

执行#service network restart

验证#ipconfig

2.用工具pietty，简历远程登陆，修改主机名，#hostname 主机名。而后#vi /etc/sysconfig/network永久更改主机名

#vi etc/hosts 更改主机名和ip绑定。

3.关闭防火墙，#service iptables stop

关闭自启功能 #chkconfig iptables off

或者用setup关闭服务、

4.查看服务列表#chkconfig --list |grep iptables

5.ssh服务,免密码登录。像其余的服务，例如FTP,POP,telnet同样都是c/s模型，可是更安全。

进入。ssh目录下

产生公钥和私钥 #ssh-keygen -t rsa 

复制公钥到# cp gongyao authorized_keys

验证 #ssh localhost

6.文件传输工具winscp。把jdk和hadoop上传至usr/local下

ls -l查看权限，不够增长权限#chkconfig u+x 文件名。

7./解压jdk文件，是指环境变量# vi /etc/profile

#service /etc/profile当即生效

java_version查看 

tar -zxvf hadoop

vi /etc/profile

修改四个配置文件

格式化hadoop namenode -format

jps查看进程50070和50030

HDFS命令

一、hadoop fs -ls  hadoop fs -lsr

二、hadoop  fs -pu t       -get    -rm  -rmr   text cat 

本质hadoop fs 至关于hdfs://hadoop0:90001

3.在core_defaual.xml中设置block大小，默认64MB

dfs.data.dir中是datanode中的数据位置