Hadoop原理学习

一. Mapreduce 目前 1TB的数据,传输速度是100MB/s,单独去读出这份数据需要花费2个多小时的时间,这已经就相当的耗时,且只是1TB的数据 那么 设想 有 100台机器存100份数据进行同时读写,那么我们可以在2min以内就完成了读写, 但是问题又来了,作为分析来讲,从一个磁盘读出的数据常常需要和其他的99个盘独处的数据合并使用,比如,排序,统计。 Hadoop就提供了这个功能,其
相关文章
相关标签/搜索