Hive表数据出库到elasticsearch(ES)速度

项目背景oop      天天须要批量更新商品属性相关的数据用来检索,因为数据量比较大,天天的数据都是上亿量级的记录,考虑到检索速度的要求,选用ES来检索。可是数据都是在hadoop上,索引用hive到同步到ES的技术来完成。此篇主要是对任务完成速度的介绍spa 图1是hive同步的任务,一共6个任务,上面有任务开始时间、结束时间。图2是ES集群的监控,监控数据插入到ES的速度。下面结合这两幅图简
相关文章
相关标签/搜索