安装步骤:java
JAVA实现读取文件mysql
可是使用hive会更简单sql
hive可以把文件变成表,只保存表结构存在数据库mysql中,可是数据仍是在文件中shell
文件----->database---->table数据库
----->deby------>mysql(保存表结构信息)ide
1.先解压完而后把数据库链接驱动放到hive110/lib中oop
tar zxvf hive-1.1.0-cdh5.14.2.tar.gz mv hive-1.1.0-cdh5.14.2 /opt/bigdata/hive110
2.配置env文件code
cd /opt/bigdata/hive110/conf cp hive-env.sh.template hive-env.sh vi hive-env.sh
3.配置site.xmlxml
放到hive10/conf下hadoop
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://169.254.211.100:3306/hive?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>root</value> </property> </configuration>
4.配置环境变量
vi /etc/proflie source /etc/profile
5.进入bin中运行hive
schematool -initSchema -dbType mysql hive create table userinfos(userid int);
6.使用hive插数据
insert into userinfos values(1);
7.使用hadoop查看数据
hdfs dfs -text /user/hive/warehouse/userinfos/000000_0