分布式系统经典问题深度分页

分布式文件系统必定面对的问题:深度分页 问题:如何在数据分片存储的情况下, 获取前1000个文档? 答案:先从每个分片上获取前1000个文档, 然后由处理节点聚合所有分片的结果之后,再排序获取前1000个文档。 此时页数越深,处理的文档就越多,占用的内存就越大,耗时就越长。这就是深度分页问题。 为了尽量避免深度分页为题,ES通过设定index.max_result_window限定最多到10000
相关文章
相关标签/搜索