Hive Job层面的优化

1.  Run in Local Mode 数据处理比较小的时候就运行本地模式, 不需要分布式。 把阀值这三个设置改一下就是本地模式了。   2.  JVM Reuse Hadoop每当得到一个map或者reduce任务的时候, 就会启动一个新的JVM。 处理job时间比较短,但是启动JVM太费时了。 配置成JVM Reuse可以大大优化   3. Parallel Exectution 并行执行
相关文章
相关标签/搜索