Hive导入10G数据的测试

  前言 Hadoop和Hive的环境已经搭建起来了，开始导入数据进行测试。我的数据1G大概对应500W行，MySQL的查询500W行大概3.29秒，用hive同样的查询大概30秒。如果我们把数据增加到10G，100G，让我们来看看Hive的表现吧。 目录 导出MySQL数据 导入到Hive 优化导入过程Hive Bucket 执行查询 1. 导出MySQL数据 下面是我的表，每天会产生一新表，用

>>阅读原文<<