两个案例带你理解分布式的计算思想

咱们先看一下这个需求: 需求1: 将1T文件排序,这个文件的每一行都是一个数字 环境: 一台服务器 64G内存 看到这个需求,咱们心中第一个想法是将大文件切割成小文件,而后小文件进行内部排序,而后用归并排序法将小文件合并成为一个大文件。 这里介绍一下归并排序法:web 归并排序是指将两个及以上的有序的文件,读取前n个到内存中 每个存到一个buffer里,在比较各个buffer中的第一个元素,将小
相关文章
相关标签/搜索