hivejob中map的优化

友情提示：更多有关大数据、人工智能方面技术文章请关注博主我的微信公众号：高级大数据架构师！sql 一、Hive优化案例——map数过多微信 集群运行的做业有很多map数超大的做业，占用slot过多，致使其余同池子的其余做业等待状态。因为小文件数过多会占用元数据过大，计算时也会消耗更多的资源。因此，建议文件的大小控制在不小于 100M。（文件也不是越大越好，gzip压缩文件最好控制500M之内）架构

>>阅读原文<<