在大数据学习系列之一 ----- Hadoop环境搭建(单机) 成功的搭建了Hadoop的环境,在大数据学习系列之二 ----- HBase环境搭建(单机)成功搭建了HBase的环境以及相关使用介绍。本文主要讲解如何搭建Hadoop+Hive的环境。java
本地虚拟机
操做系统:linux CentOS 7
Cpu:2核
内存:2G
硬盘:40Gnode
说明:由于使用阿里云服务器每次都要从新配置,并且还要考虑网络传输问题,因而本身在本地便搭建了一个虚拟机,方便文件的传输以及相关配置,缺点是原本卡的电脑就变得更卡了。具体教程和使用在上一遍博文中。
地址: http://blog.csdn.net/qazwsxpcm/article/details/78816230。mysql
JDK:1.8 (jdk-8u144-linux-x64.tar.gz)
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)
Hive: 2.1 (apache-hive-2.1.1-bin.tar.gz)linux
JDK:
http://www.oracle.com/technetwork/java/javase/downloads
Hadopp:
http://www.apache.org/dyn/closer.cgi/hadoop/common
Hive
http://mirror.bit.edu.cn/apache/hive/sql
百度云盘:
连接:https://pan.baidu.com/s/1slxBsHv 密码:x51ishell
在配置Hadoop+Hive以前,应该先作一下配置。
作这些配置为了方便,使用root权限。数据库
首先更改主机名,目的是为了方便管理。
输入:apache
hostname
查看本机的名称
而后更改主机名为master
输入:vim
hostnamectl set-hostname master
注:主机名称更改以后,要重启(reboot)才会生效。浏览器
修改hosts文件,作关系映射
输入
vim /etc/hosts
添加
主机的ip 和 主机名称
192.168.238.128 master
关闭防火墙,方便访问。
CentOS 7版本如下输入:
关闭防火墙
service iptables stop
CentOS 7 以上的版本输入:
systemctl stop firewalld.service
查看当前时间
输入:
date
查看服务器时间是否一致,若不一致则更改
更改时间命令
date -s ‘MMDDhhmmYYYY.ss’
Hadoop的具体配置在大数据学习系列之一 ----- Hadoop环境搭建(单机) 中介绍得很详细了。因此本文就大致介绍一下。
注:具体配置以本身的为准。
编辑 /etc/profile 文件 :
vim /etc/profile
配置文件:
export HADOOP_HOME=/opt/hadoop/hadoop2.8 export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH
先切换到 /home/hadoop/hadoop2.8/etc/hadoop/ 目录下
输入:
vim core-site.xml
在
<configuration> <property> <name>hadoop.tmp.dir</name> <value>/root/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> </configuration>
输入:
vim hadoop-env.sh
将${JAVA_HOME} 修改成本身的JDK路径
export JAVA_HOME=${JAVA_HOME}
修改成:
export JAVA_HOME=/home/java/jdk1.8
输入:
vim hdfs-site.xml
在
<property> <name>dfs.name.dir</name> <value>/root/hadoop/dfs/name</value> <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description> </property> <property> <name>dfs.data.dir</name> <value>/root/hadoop/dfs/data</value> <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description> </property> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.permissions</name> <value>false</value> <description>need not permissions</description> </property>
若是没有 mapred-site.xml 该文件,就复制mapred-site.xml.template文件并重命名为mapred-site.xml。
输入:
vim mapred-site.xml
修改这个新建的mapred-site.xml文件,在
<property> <name>mapred.job.tracker</name> <value>master:9001</value> </property> <property> <name>mapred.local.dir</name> <value>/root/hadoop/var</value> </property> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
启动以前须要先格式化
切换到/home/hadoop/hadoop2.8/bin目录下
输入:
./hadoop namenode -format
格式化成功后,再切换到/home/hadoop/hadoop2.8/sbin目录下
启动hdfs和yarn
输入:
start-dfs.sh start-yarn.sh
启动成功后,输入jsp查看是否启动成功
在浏览器输入 ip+8088 和ip +50070 界面查看是否能访问
能正确访问则启动成功
由于Hive的默认元数据是Mysql,因此先要安装Mysql。
Mysql有两种安装模式,可自行选择。
首先查看mysql 是否已经安装
输入:
rpm -qa | grep mysql
若是已经安装,想删除的话
输入:
普通删除命令:
rpm -e mysql
强力删除命令:
rpm -e --nodeps mysql
依赖文件也会删除
安装mysql
输入:
yum list mysql-server
若是没有,则经过wget命令下载该包
输入:
wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
下载成功以后,再输入命令安装
yum install mysql-server
在安装过程当中遇到选择输入y就好了
安装成功后,输入 service mysqld start 启动服务
输入:
mysqladmin -u root -p password '123456'
来设置密码
输入以后直接回车(默认是没有密码的)
而后再输入
mysql -u root -p
经过受权法更改远程链接权限
输入: grant all privileges on . to 'root'@'%' identified by '123456';
注:第一个’root’是用户名,第二个’%’是全部的ip均可以远程访问,第三个’123456’表示 用户密码 若是不经常使用 就关闭掉
输入:flush privileges; //刷新
在防火墙关闭以后,使用SQLYog之类的工具测试是否能正确链接
将下载好的mysql安装包上传到linux服务器
解压mysql解压包,并移动到/usr/local目录下,重命名为mysql。
命令:
tar -xvf mysql-5.6.21-linux-glibc2.5-x86_64.tar.gz mv mysql-5.6.21-linux-glibc2.5-x86_64 /usr/local cd /usr/local mv mysql-5.6.21-linux-glibc2.5-x86_64 mysql
注: mysql默认的路径是就是/usr/local/mysql ,若是安装的地方更改,须要更改相应的配置文件。
切换到mysql的目录 /usr/local/mysql
输入:
./scripts/mysql_install_db --user=mysql
成功安装mysql以后,输入:
service mysql start 或 /etc/init.d/mysql start
查看是否启动成功
输入:
ps -ef|grep mysql
切换到 /usr/local/mysql/bin 目录下
设置密码
mysqladmin -u root password '123456'入mysql
输入:
mysql -u root -p
设置远程链接权限
输入:
grant all privileges on . to 'root'@'%' identified by '123456';
而后输入:
flush privileges;
说明: 第一个’root’是用户名,第二个’%’是全部的ip均可以远程访问,第三个’123456’表示用户密码 若是不经常使用就关闭掉。
使用本地链接工具链接测试
将下载下来的Hive 的配置文件进行解压
在linux上输入:
tar -xvf apache-hive-2.1.1-bin.tar.gz
而后移动到/opt/hive 里面,将文件夹重命名为 hive2.1
输入
mv apache-hive-2.1.1-bin /opt/hive mv apache-hive-2.1.1-bin hive2.1
编辑 /etc/profile 文件
输入:
vim /etc/profile
添加:
export HIVE_HOME=/opt/hive/hive2.1 export HIVE_CONF_DIR=${HIVE_HOME}/conf export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${HADOOP_HOME}/bin:${ZK_HOME}/bin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:$PATH
注:实际配置以本身的为准!
输入:
source /etc/profile
使配置生效
在修改配置文件以前,须要先在root目录下创建一些文件夹。
mkdir /root/hive mkdir /root/hive/warehouse
新建完该文件以后,须要让hadoop新建/root/hive/warehouse 和 /root/hive/ 目录。
执行命令:
$HADOOP_HOME/bin/hadoop fs -mkdir -p /root/hive/ $HADOOP_HOME/bin/hadoop fs -mkdir -p /root/hive/warehouse
给刚才新建的目录赋予读写权限,执行命令:
$HADOOP_HOME/bin/hadoop fs -chmod 777 /root/hive/ $HADOOP_HOME/bin/hadoop fs -chmod 777 /root/hive/warehouse
检查这两个目录是否成功建立
输入:
$HADOOP_HOME/bin/hadoop fs -ls /root/ $HADOOP_HOME/bin/hadoop fs -ls /root/hive/
能够看到已经成功建立
切换到 /opt/hive/hive2.1/conf 目录下
将hive-default.xml.template 拷贝一份,并重命名为hive-site.xml
而后编辑hive-site.xml文件
cp hive-default.xml.template hive-site.xml vim hive-site.xml
编辑hive-site.xml文件,在
<!-- 指定HDFS中的hive仓库地址 --> <property> <name>hive.metastore.warehouse.dir</name> <value>/root/hive/warehouse</value> </property> <property> <name>hive.exec.scratchdir</name> <value>/root/hive</value> </property> <!-- 该属性为空表示嵌入模式或本地模式,不然为远程模式 --> <property> <name>hive.metastore.uris</name> <value></value> </property> <!-- 指定mysql的链接 --> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value> </property> <!-- 指定驱动类 --> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <!-- 指定用户名 --> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <!-- 指定密码 --> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>123456</value> </property> <property> <name>hive.metastore.schema.verification</name> <value>false</value> <description> </description> </property>
而后将配置文件中全部的
${system:java.io.tmpdir}
更改成 /opt/hive/tmp (若是没有该文件则建立),
并将此文件夹赋予读写权限,将
${system:user.name}
更改成 root
例如:
更改以前的:
更改以后:
配置图:
注: 因为hive-site.xml 文件中的配置过多,能够经过FTP将它下载下来进行编辑。也能够直接配置本身所需的,其余的能够删除。 MySQL的链接地址中的master是主机的别名,能够换成ip。
修改hive-env.sh 文件,没有就复制 hive-env.sh.template ,并重命名为hive-env.sh
在这个配置文件中添加
export HADOOP_HOME=/opt/hadoop/hadoop2.8 export HIVE_CONF_DIR=/opt/hive/hive2.1/conf export HIVE_AUX_JARS_PATH=/opt/hive/hive2.1/lib
因为Hive 默认自带的数据库是使用mysql,因此这块就是用mysql
将mysql 的驱动包 上传到 /opt/hive/hive2.1/lib
在成功启动Hadoop以后
切换到Hive目录下
输入:
cd /opt/hive/hive2.1/bin
首先初始化数据库
初始化的时候注意要将mysql启动
输入:
schematool -initSchema -dbType mysql
执行成功以后,能够看到hive数据库和一堆表已经建立成功了
切换到 cd /opt/hive/hive2.1/bin
进入hive (确保hadoop以及成功启动)
输入:
hive
进入hive 以后
作一些简单的操做
新建一个库,而后在建一张表
基本操做和普通的关系型数据库差很少
建立库:
create database db_hiveTest;
建立表:
create table db_hiveTest.student(id int,name string) row format delimited fields terminated by '\t';
说明: terminated by '\t' 表示文本分隔符要使用Tab,行与行直接不能有空格。
加载数据
新打开一个窗口
由于hive 不支持写,因此添加数据使用load加载文本获取。
新建一个文本
touch /opt/hive/student.txt
编辑该文本添加数据
输入:
vim /opt/hive/student.txt
添加数据:
中间的空格符使用Tab建
1001 zhangsan 1002 lisi 1003 wangwu
说明: 文本能够在Windows上面新建,而后经过ftp上传到linux中,须要注意文本的格式为unix 格式。
切换到hive shell
加载数据
输入:
load data local inpath '/opt/hive/student.txt' into table db_hivetest.student;
而后查询该数据
输入:
select * from db_hiveTest.student;
本文的Hadoop+Hive的配置就到此结束了,谢谢阅读!
更多的hive使用请参考官方文档 https://cwiki.apache.org/confluence/display/Hive/LanguageManual 环境搭建参考: http://blog.csdn.net/pucao_cug/article/details/71773665