清晰安装Hadoop/Hbase/Thrift
1，准备安装包：
http://ohse.de/uwe/software/lrzsz.htmlhtml
1> 安装jdk:
#tar -xvf targz/jdk-7u25-linux-x64.tar.gz
#mkdir /usr/local/jvm/java-7-sun -p
#mv jdk1.7.0_25/* /usr/local/jvm/java-7-sun/
#vi ~/.bashrc
export JAVA_HOME=/usr/local/jvm/java-7-sun
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=${JAVA_HOME}/lib:${JRE_HOME}/lib:${CLASSPATH}
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:${PYTHONHOME}/bin:${THRIFT_HOME}/bin:${PATH}
#. ~/.bashrc
#java -version
java version "1.7.0_25"
Java(TM) SE Runtime Environment (build 1.7.0_25-b15)
Java HotSpot(TM) 64-Bit Server VM (build 23.25-b01, mixed mode)
// 说明安装成功
2> 配置SSH免密码登陆
# //修改hosts文件
#vi /etc/hosts
192.168.0.20 master
192.168.0.21 slave1
192.168.0.22 slave1
#// 找到如下内容，并去掉注释符”#“
#vi /etc/ssh/sshd_config
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
#// 若ssh端口为非22，则修改脚本内容
#vi /usr/bin/ssh-copy-id
{ eval "$GET_ID" ; } | ssh -p myport $1 "umask 077; test -d ~/.ssh || mkdir
#// 接下来就生成免密码登陆态文件
ssh-keygen -t rsa -P ''
ssh-copy-id -i ~/.ssh/id_rsa.pub root@master
ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave2
ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave1
3> 安装hadoop
#//解压hadoop-1.0.4.tar.gz
#tar -xvf hadoop-1.0.4.tar.gz
#mv hadoop-1.0.4/ /usr/local/hadoop/
#//修改文件句柄限制
#vi /etc/security/limits.conf
* - nofile 65535
* soft nproc 32000
* hard nproc 32000
#//修改当前主机名，否则在格式化时会出现这种错误，以下：
#//SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: hadoop1: hadoop1
#vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master
#//修改用户环境变量
#vi ~/.bashrc
export HADOOP_HOME=/usr/local/hadoop/hadoop-1.0.4
#将$HADOOP_HOME目录下的jar包所有添加
for i in $HADOOP_HOME/*.jar
do
CLASSPATH=$CLASSPATH:$i
done
#将$HADOOP_HOME/lib目录下的jar所有添加
for i in $HADOOP_HOME/lib/*.jar
do
CLASSPATH=$CLASSPATH:$i
done
#//修改hadoop-env.sh配置文件
#cd /usr/local/hadoop/hadoop-1.0.4/
#vi conf/hadoop-env.sh
export JAVA_HOME=/usr/local/jvm/java-7-sun/
#mkdir /usr/local/hadoop/hadoop-1.0.4/pids
export HADOOP_PID_DIR=/usr/local/hadoop/hadoop-1.0.4/pids
#取消环境变量$HADOOP_HOME过期的警告
export HADOOP_HOME_WARN_SUPPRESS=1
#修改对应的免登陆的ssh端口，由于上面配置ssh免登陆时的端口修改了
#http://blog.chenlb.com/2008/12/change-hadoop-ssh-port.html
export HADOOP_SSH_OPTS="-p myport"
#//修改core-site.xml配置文件
#vi conf/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<!-- 这个建议加上，不然机器重启后，全部数据将会丢失 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/hadoop-1.0.4/tmp</value>
</property>
</configuration>
#vi conf/hdfs-site.xml
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/hadoop-1.0.4/name</value>
<description>
这里有的说要建立name目录有的说不要建立(建议不建立)
</description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/u01/hadoopdata,/u02/hadoopdata,/u03/hadoopdata,/u04/hadoopdata</value>
<description>
DataNode上存储数据块的地方。若是指定多个目录(逗号分割)，则数据库被随机的存放。
</description>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
<description>
datanode同时打开的文件上限。默认256过小。
</description>
</property>
#vi conf/mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>hdfs://master:9001</value>
</property>
#//格式化namenode
#./bin/hadoop namenode -format
#//如果分布式系统，则要把当前目录下的全部文件scp到各个datanode机器上
#scp -r * root@slave1:/usr/local/hadoop/hadoop-1.0.4
注意：全部的slave机器上的配置建议都与master一致，即把上述配置文件和hadoop目录都scp到全部的slave机器上
4> 运行
#cd /usr/local/hadoop/hadoop-1.0.4/bin
#./start-all.sh
5> 页面验证
http://192.168.100.20:50030 (MapReduce的Web页面)
http://192.168.100.20:50070 (HDFS的Web页面)
http://192.168.100.20:50060 (Task Tracker Status)
6> 后的进程名称：
* NameNode
* SecondaryNameNode
* DataNode
* JobTracker
* TaskTracker
3, 安装与配置Hbase
1>安装Hbase
#//解压hadoop-1.0.4.tar.gz
#tar -xvf hbase-0.94.9.tar.gz
#mv hbase-0.94.9/ /usr/local/hadoop/
#vi ~/.bashrc
export HBASE_HOME=/usr/local/hadoop/hbase-0.94.9
#cd /usr/local/hadoop/hbase-0.94.9
#vi conf/hbase-env.sh
export JAVA_HOME=/usr/local/jvm/java-7-sun/
#//下面的HBASE_CLASSPATH是方便hbase和hadoop进行关联
export HBASE_CLASSPATH=/usr/local/hadoop/hadoop-1.0.4/conf
export HBASE_PID_DIR=/usr/local/hadoop/hbase-0.94.9/pids
export HBASE_MANAGES_ZK=true
#修改对应的免登陆的ssh端口，由于上面配置ssh免登陆时的端口修改了
# http://blog.chenlb.com/2008/12/change-hadoop-ssh-port.html
export HBASE_SSH_OPTS="-p"myport
#vi conf/hbase-site.xml
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
<description>
设置hbase在hdfs上的目录，主机名为hdfs的namenode节点所在的主机
</description>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
<description>
设置为true，代表是彻底分布式的hbase集群,伪分布式模式下也须要设置为true
</description>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/usr/local/hadoop/hbase-0.94.9/zookeeper</value> <description>
ZooKeeper保存数据的目录地址
</description>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>slave1,slave2</value>
<description>
设置zookeeper的主机，建议使用单数
</description>
</property>
<property>
<name>hbase.client.write.buffer</name>
<value>209715200</value>
<description>
HTable客户端的写缓冲的默认大小
</description>
</property>
<property>
<name>hbase.client.keyvalue.maxsize</name>
<value>209715200</value>
<description>
一个KeyValue实例的最大size
</description>
</property>
#vi regionservers
slave1
2> 运行
#cd /usr/local/hadoop/hbase-0.94.9/bin
#./start-hbase.sh
3> 页面验证
http://192.168.100.20:60010/master-status
4> 后的进程名称：
* HQuorumPeer
* HMaster
* HRegionServer
5> 伪分布式配置（以上是彻底分布式架构的搭建，若是是伪分布，则要修改下面内容，其余与彻底分布式同样)
#vi hbase-site.xml
<property>
<name>hbase.zookeeper.quorum</name>
<value>localhost</value>
<description>
设置zookeeper的主机，建议使用单数
</description>
</property>
#vi regionservers
master
若是不按照上面的配置，会出现各类奇怪问题，以下日志：
FATAL org.apache.hadoop.hbase.master.HMaster: Unhandled exception
org.apache.hadoop.hbase.master.HMaster: Unhandled exception. Starting shutdown
#tar -xvf targz/jdk-7u25-linux-x64.tar.gz
#mkdir /usr/local/jvm/java-7-sun -p
#mv jdk1.7.0_25/* /usr/local/jvm/java-7-sun/
#vi ~/.bashrc
export JAVA_HOME=/usr/local/jvm/java-7-sun
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=${JAVA_HOME}/lib:${JRE_HOME}/lib:${CLASSPATH}
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:${PYTHONHOME}/bin:${THRIFT_HOME}/bin:${PATH}
#. ~/.bashrc
#java -version
java version "1.7.0_25"
Java(TM) SE Runtime Environment (build 1.7.0_25-b15)
Java HotSpot(TM) 64-Bit Server VM (build 23.25-b01, mixed mode)
// 说明安装成功
2> 配置SSH免密码登陆
# //修改hosts文件
#vi /etc/hosts
192.168.0.20 master
192.168.0.21 slave1
192.168.0.22 slave1
#// 找到如下内容，并去掉注释符”#“
#vi /etc/ssh/sshd_config
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
#// 若ssh端口为非22，则修改脚本内容
#vi /usr/bin/ssh-copy-id
{ eval "$GET_ID" ; } | ssh -p myport $1 "umask 077; test -d ~/.ssh || mkdir
#// 接下来就生成免密码登陆态文件
ssh-keygen -t rsa -P ''
ssh-copy-id -i ~/.ssh/id_rsa.pub root@master
ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave2
ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave1
3> 安装hadoop
#//解压hadoop-1.0.4.tar.gz
#tar -xvf hadoop-1.0.4.tar.gz
#mv hadoop-1.0.4/ /usr/local/hadoop/
#//修改文件句柄限制
#vi /etc/security/limits.conf
* - nofile 65535
* soft nproc 32000
* hard nproc 32000
#//修改当前主机名，否则在格式化时会出现这种错误，以下：
#//SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: hadoop1: hadoop1
#vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master
#//修改用户环境变量
#vi ~/.bashrc
export HADOOP_HOME=/usr/local/hadoop/hadoop-1.0.4
#将$HADOOP_HOME目录下的jar包所有添加
for i in $HADOOP_HOME/*.jar
do
CLASSPATH=$CLASSPATH:$i
done
#将$HADOOP_HOME/lib目录下的jar所有添加
for i in $HADOOP_HOME/lib/*.jar
do
CLASSPATH=$CLASSPATH:$i
done
#//修改hadoop-env.sh配置文件
#cd /usr/local/hadoop/hadoop-1.0.4/
#vi conf/hadoop-env.sh
export JAVA_HOME=/usr/local/jvm/java-7-sun/
#mkdir /usr/local/hadoop/hadoop-1.0.4/pids
export HADOOP_PID_DIR=/usr/local/hadoop/hadoop-1.0.4/pids
#取消环境变量$HADOOP_HOME过期的警告
export HADOOP_HOME_WARN_SUPPRESS=1
#修改对应的免登陆的ssh端口，由于上面配置ssh免登陆时的端口修改了
#http://blog.chenlb.com/2008/12/change-hadoop-ssh-port.html
export HADOOP_SSH_OPTS="-p myport"
#//修改core-site.xml配置文件
#vi conf/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<!-- 这个建议加上，不然机器重启后，全部数据将会丢失 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/hadoop-1.0.4/tmp</value>
</property>
</configuration>
#vi conf/hdfs-site.xml
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/hadoop-1.0.4/name</value>
<description>
这里有的说要建立name目录有的说不要建立(建议不建立)
</description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/u01/hadoopdata,/u02/hadoopdata,/u03/hadoopdata,/u04/hadoopdata</value>
<description>
DataNode上存储数据块的地方。若是指定多个目录(逗号分割)，则数据库被随机的存放。
</description>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
<description>
datanode同时打开的文件上限。默认256过小。
</description>
</property>
#vi conf/mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>hdfs://master:9001</value>
</property>
#//格式化namenode
#./bin/hadoop namenode -format
#//如果分布式系统，则要把当前目录下的全部文件scp到各个datanode机器上
#scp -r * root@slave1:/usr/local/hadoop/hadoop-1.0.4
注意：全部的slave机器上的配置建议都与master一致，即把上述配置文件和hadoop目录都scp到全部的slave机器上
4> 运行
#cd /usr/local/hadoop/hadoop-1.0.4/bin
#./start-all.sh
5> 页面验证
http://192.168.100.20:50030 (MapReduce的Web页面)
http://192.168.100.20:50070 (HDFS的Web页面)
http://192.168.100.20:50060 (Task Tracker Status)
6> 后的进程名称：
* NameNode
* SecondaryNameNode
* DataNode
* JobTracker
* TaskTracker
3, 安装与配置Hbase
1>安装Hbase
#//解压hadoop-1.0.4.tar.gz
#tar -xvf hbase-0.94.9.tar.gz
#mv hbase-0.94.9/ /usr/local/hadoop/
#vi ~/.bashrc
export HBASE_HOME=/usr/local/hadoop/hbase-0.94.9
#cd /usr/local/hadoop/hbase-0.94.9
#vi conf/hbase-env.sh
export JAVA_HOME=/usr/local/jvm/java-7-sun/
#//下面的HBASE_CLASSPATH是方便hbase和hadoop进行关联
export HBASE_CLASSPATH=/usr/local/hadoop/hadoop-1.0.4/conf
export HBASE_PID_DIR=/usr/local/hadoop/hbase-0.94.9/pids
export HBASE_MANAGES_ZK=true
#修改对应的免登陆的ssh端口，由于上面配置ssh免登陆时的端口修改了
# http://blog.chenlb.com/2008/12/change-hadoop-ssh-port.html
export HBASE_SSH_OPTS="-p"myport
#vi conf/hbase-site.xml
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
<description>
设置hbase在hdfs上的目录，主机名为hdfs的namenode节点所在的主机
</description>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
<description>
设置为true，代表是彻底分布式的hbase集群,伪分布式模式下也须要设置为true
</description>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/usr/local/hadoop/hbase-0.94.9/zookeeper</value> <description>
ZooKeeper保存数据的目录地址
</description>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>slave1,slave2</value>
<description>
设置zookeeper的主机，建议使用单数
</description>
</property>
<property>
<name>hbase.client.write.buffer</name>
<value>209715200</value>
<description>
HTable客户端的写缓冲的默认大小
</description>
</property>
<property>
<name>hbase.client.keyvalue.maxsize</name>
<value>209715200</value>
<description>
一个KeyValue实例的最大size
</description>
</property>
#vi regionservers
slave1
2> 运行
#cd /usr/local/hadoop/hbase-0.94.9/bin
#./start-hbase.sh
3> 页面验证
http://192.168.100.20:60010/master-status
4> 后的进程名称：
* HQuorumPeer
* HMaster
* HRegionServer
5> 伪分布式配置（以上是彻底分布式架构的搭建，若是是伪分布，则要修改下面内容，其余与彻底分布式同样)
#vi hbase-site.xml
<property>
<name>hbase.zookeeper.quorum</name>
<value>localhost</value>
<description>
设置zookeeper的主机，建议使用单数
</description>
</property>
#vi regionservers
master
若是不按照上面的配置，会出现各类奇怪问题，以下日志：
FATAL org.apache.hadoop.hbase.master.HMaster: Unhandled exception
org.apache.hadoop.hbase.master.HMaster: Unhandled exception. Starting shutdown
4, 上述所涉及到的配置文件列表
5, 安装thrift及依赖库
#tar -xvf libevent-2.0.20-stable.tar.gz
#./configure --prefix=/usr/local/libevent
#mk
#mk install
#tar -xvf Python-2.7.5.tar.bz2
#./configure --prefix=/usr/local/python
#mk
#mk install
#tar -xvf boost_1_52_0.tar.gz
#./bootstrap.sh --prefix=/usr/local/boost --with-python=/usr/local/python
#./b2
#./b2 install
============================================
boost编译问题：
wrap_python.hpp:50:23: error: pyconfig.h: No such file or directory
有多是作过一次./bootstrap.sh(后面没有带参数)致使，这时要删除目录再来一次带参数的配置化
============================================
#tar -xvf thrift-0.9.0.tar.gz
#export CPPFLAGS="-DHAVE_NETDB_H=1 -fpermissive"
#./configure --with-boost=/usr/local/boost/ --with-qt4=false --with-java=/usr/local/jvm/java-7-sun/ --with-libevent=/usr/local/libevent/ --prefix=/usr/local/thrift
#mk
#mk install
6, 其余
1>启动hadoop的thrift服务(用于HDFS的访问)
a> 先需修改start_thrift_server.sh
#vi /usr/local/hadoop/hadoop-1.0.4/src/contrib/thriftfs/scripts/start_thrift_server.sh
修改1：
将
for f in $TOP/build/*.jar ; do
改成:
for f in $TOP/*.jar ; do
修改2：
将
for f in $TOP/build/contrib/thriftfs/*.jar ; do
改成:
for f in $TOP/src/contrib/thriftfs/*.jar ; do
b> 启动thrift服务进程
#/usr/local/hadoop/hadoop-1.0.4/src/contrib/thriftfs/scripts/start_thrift_server.sh #thriftport#
2> 启动hbase的thrift服务
a> 先确保hadoop的的状态为：Safe mode is OFF
#/usr/local/hadoop/hadoop-1.0.4/bin/hadoop dfsadmin -safemode leave
b> 启动thrift服务进程
#/home/hadoop/hbase/bin/hbase thrift start
或者
#./hbase-daemon.sh start thrift
以上内容也使用evernote做了分享，能够下载到上述中的配置文件《
清晰安装Hadoop/Hbase/Thrift--EverNote版》。
说明：配置并安装好hadoop/hbase/thrift，就可使用各类编程语言进行对hbase或hadoop的访问的开发了。开发步骤稍候详见另一篇帖子《CPP/PHP访问hbase的代码开发》。
相关文章
- 1. 不清晰概念
- 2. numpy.transpose清晰解释
- 3. Oracle数据库安装(步骤详细，截图清晰)
- 4. Parallels Desktop安装Linux系统显示不清晰
- 5. 清晰明了CentOS的MySQL8.0安装教程，你值得拥有
- 6. 简易Navicat安装教程，清晰明了
- 7. Ubuntu上安装锐利清晰的文泉驿正黑字体
- 8. 反证法清晰解释
- 9. PS调整清晰度
- 10. 清晰理解堆排序
- 更多相关文章...
- • Docker 安装 Nginx - Docker教程
- • Docker 安装 Node.js - Docker教程
- • Composer 安装与使用
- • IntelliJ IDEA安装代码格式化插件
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
- 1. eclipse设置粘贴字符串自动转义
- 2. android客户端学习-启动模拟器异常Emulator: failed to initialize HAX: Invalid argument
- 3. android.view.InflateException: class com.jpardogo.listbuddies.lib.views.ListBuddiesLayout问题
- 4. MYSQL8.0数据库恢复 MYSQL8.0ibd数据恢复 MYSQL8.0恢复数据库
- 5. 你本是一个肉体，是什么驱使你前行【1】
- 6. 2018.04.30
- 7. 2018.04.30
- 8. 你本是一个肉体，是什么驱使你前行【3】
- 9. 你本是一个肉体，是什么驱使你前行【2】
- 10. 【资讯】LocalBitcoins达到每周交易比特币的7年低点
欢迎关注本站公众号,获取更多信息
相关文章