分析并统计数据量为TB,PB级别的文档中的数据

一. 问题描述: 假设有一个10TB大小的文本文件test.txt，文本中每一行是一个0-10000的随机数, 如今要统计出文件中最大的1000个数字，请提出解决方案，并经过代码实现。 二.解决方案 方案1: (1)读取文本文件中的数据, 存入数组或者列表(列表底层是经过数组实现的)中, 将数组或者列表进行排序，取出前1000个或者后1000个数据便可。 (2)这种解决方式有缺陷吗，数组能存下那么

>>阅读原文<<