大数据-Hadoop应用

一、初识Hadoop 以一个小故事解释什么是Hadoop: 小明接到一个任务:计算一个100M的文本文件中的单词的个数,这个文本文件有若干行,每行有若干个单词,每行单词与单词之间均以空格键隔开。对于处理这种100M量级数据的计算任务,小明觉得很轻松。他首先把这个100M的文件拷贝到自己的电脑上,然后写了个计算程序在他的计算机上执行并顺利输出了结果。 后来,小明接到了另外一个任务,计算一个1T(10
相关文章
相关标签/搜索