Hadoop安装之Hive集成与mysql安装

一、官网下载Hive组件，拷贝至虚拟机，

　　地址： https://pan.baidu.com/s/1_ijjPTJdKfsA3JbbqYNN3Q   5fwu

　　tar -zxvf apache-hive-2.3.3-bin.tar.gz 解压命令

二、配置环境变量，　　vi .bash_profile 

　　　　export HIVE_HOME=/home/wdd/apache-hive-2.3.3-bin
　　　　export PATH=$HIVE_HOME/bin:$PATH

　　source  .bash_profile  生效

三、修改配置文件，$HIVE_HOME/conf/下

　　执行文件拷贝命令

　　　　cp hive-env.sh.template hive-env.sh

　　　　cp hive-default.xml.template hive-site.xml

　　　　cp hive-log4j2.properties.template hive-log4j2.properties

　　　　cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

　　1）编辑 hive-env.sh，增长以下

　　　　export JAVA_HOME=/home/wdd/jre1.8.0_162

　　　　export HADOOP_HOME=/home/wdd/hadoop-2.9.0
　　　　export HIVE_HOME=/home/wdd/apache-hive-2.3.3-bin
　　　　export HIVE_CONF_DIR=/home/wdd/apache-hive-2.3.3-bin/conf

　　     在hsdf 中建立目录以下：

　　　　

　　2） 修改hive-site.xml文件

　　　　<property>

　　　　　　<name>hive.exec.scratchdir</name>

　　　　　　<value>/data/hadoop/hive/tmp</value>

　　　　</property>

　　　　<property>

　　　　　　<name>hive.metastore.warehouse.dir</name>

　　　　　　 <value>/data/hadoop/warehouse</value>

　　　　</property>

　　　　<property>

　　　　　　<name>hive.querylog.location</name>

　　　　　　 <value>/data/hadoop//hive/log</value>

　　　　</property>

　　　　

　　4） 修改临时目录，tmp，，mkdir /home/wdd/hive/tmp -p

　　　　在配置文件 hive-site.xml 里面

　　　　把{system:java.io.tmpdir} 改为 /home/hadoop/hive-2.1.1/tmp/

　　　　把 {system:user.name} 改为 {user.name}

四、配置驱动包，下载驱动包，

　　　　下载地址：https://www.mysql.com/products/connector/

　　　　下载完成后把mysql-connector-java-5.1.30-bin.jar 而后放入 $HIVE_HOME/lib 目录下

五、初始化Hive

　　　　schematool -dbType mysql -initSchema 

　　　　1） 报错以下：　　　　　　

　　　　　　org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver

　　　　　　缘由：驱动包放错位置了，

　　　　2）再次初始化报错以下：

　　　　　　

　　　　　　解决办法：说是增长一个用户便可，执行以下命令：

　　　　　　　　

　　　　　　如上报错，须要执行以下命令：

　　　　　　　　　

 

 　　　　而后在执行 schematool -dbType mysql -initSchema，正常经过，以下：

　　　　

 

 

安装Mysql

一、安装环境

　　centos7，

　　下载地址：https://dev.mysql.com/downloads/

　　拷贝至虚拟机，只须要安装以下四个文件，用rpm命令

　　使用root用户安装，

　　　　#rpm -ivh mysql-community-common-5.7.13-1.el6.x86_64.rpm

　　　　#rpm -ivh mysql-community-libs-5.7.13-1.el6.x86_64.rpm

　　　　#rpm -ivh mysql-community-client-5.7.13-1.el6.x86_64.rpm

　　　　#rpm -ivh mysql-community-server-5.7.13-1.el6.x86_64.rpm

 

二、对于Centos7安装mysql 5.7须要检查是否安装mariadb-lib，若是有，必须卸载

　　检查命令 ： rpm -qa | grep mariadb-lib

　　卸载命令： rpm -i mariadb-lib --nodeps

 

三、安装顺序

　　1） rpm -ivh mysql-community-common-5.7.13-1.el6.x86_64.rpm

　　2） rpm -ivh mysql-community-libs-5.7.13-1.el6.x86_64.rpm

　　3） rpm -ivh mysql-community-client-5.7.13-1.el6.x86_64.rpm

　　4） rpm -ivh mysql-community-server-5.7.13-1.el6.x86_64.rpm

 

四、安装完成后，须要进行初始化，

　　mysqld --initialize --user=mysql

　　启动服务，service mysqld start

五、登录用户

　　mysql -u root -p

　　所须要密码在/var/log/mysqld.log中查找，或者没有密码

六、mysql root密码重置方法

　　修改/etc/my.cnf 文件，在以下位置增长红色框框中的话，

　　

　　重启MySQL服务 service mysqld restart，执行以下命令

　　1） mysql

　　2） use mysql

　　3） update mysql.user set authentication_string=password('root') where user='root' ;

　　修改/etc/my.cnf为原样子