hive 数仓开发任务优化

Hive性能优化 项目:基于hive的dmp数据仓库搭建 Hive:apache开源组件,基于hdfs文件系统及mapreduce计算引擎的关系型数据库,弱索引(目前还没怎么有用过),基本不支持实施数据处理,适用于大数据量的存储及离线的大数据量的数据挖掘 优化: 1:调度优化,模型优化 资源开放的情况下,模型日常T+1调度模型图如下(数据流图): 数据模型每层的调度要足够灵活,尽量避免由于资源问题
相关文章
相关标签/搜索