ES写入性能优化

背景: 有1亿多的用户画像中数仓须要导入ES。大多数字段都是sql统计数据,没法区分哪些发生了变化,因此不能增量更新。只能天天全量刷数据。在刷数据的过程当中出现了更新缓慢、内存问题。因而作了一些写入优化。java * 解决方案: 1. 读数据 首先要从数仓读取出数据到内存。而后再组装对象去ES刷数据字段比较多并且都须要查询。尝试了一下,即便limit 10,也须要耗时2分钟。因此第一步导数据不能直
相关文章
相关标签/搜索