大数据实训02--MapReduce原理与开发

思考小问题 统计一个100G大小的文件进行词频的解决方法 方法一：如果小文件可以编写一个小程序，进行遍历，统计词频。 方法二：编写一个多线程程序，实现并发，比上一个方法更加有效，但是要防止多个线程重复提交（同步互斥问题）。 方法三：程序交给多台服务器去完成，痛点：需要大量人工参与。 方法四：通过MapReduce框架自动化完成 MapReduce 特点：易于编程（有两个接口ma--大任务分成小任务

>>阅读原文<<