Hadoop之我见

　　最近在学习Hadoop，很想把本身的一些学习遇到的问题以及解决方案分享出来，也碍于最近一堆忙不完的事，就把这事给搁了好久。

　　那下面我就先来简单说下我为何要学习Hadoop以及我学习Hadoop的一些感觉吧。

　　你们都知道，最近几年互联网的云计算、大数据、Hadoop等等这些都很炒的很火。我是一名学生，学校也遇上时髦了，也开了相关的数据挖掘、云计算等的课程。我是去年开始接触云计算方面的东西，了解了一些关于大数据处理、Hadoop的一些发展概况。总的体会就是，随着互联网的飞速发展，各行各业的数据也在急剧膨胀，将来必定是大数据的时代。所以，围绕这大数据存储、大数据处理等的发展前景也变得更加光明。

　　而后，我选择学习Hadoop也是由于它在大数据存储、数据处理方面比较强大。其次，Hadoop技术已经在互联网领域得以普遍的应用，同时也获得研究界的广泛关注。国内外不少的互联网公司都在用Hadoop作一些数据处理分析什么的。

　　学习Hadoop主要仍是看好它的发展前景，我我的仍是很看好这个分布式计算平台将来的前景的。目前不少大公司也在都在使用Hadoop，好比国内的阿里巴巴、百度、腾讯、国外的Yahoo、亚马逊、Facebook等都在使用Hadoop。事实证实这个分布式平台颇有潜力的，虽然目前仍是存在各类各样的不足和缺陷，可是有那么多人在为之付出，老是可以不断改进的。下面是Hadoop目前的一些应用状况：

Apache Nutch是Hadoop的源头，该项目始于2002年，是Apache Lucene 的子项目之一。至2004年，Google在OSDI上公开发表了题为“MapReduce: Simplified Data Processing on Large Clusters”的论文，受到启发的Doug Cutting等人开始实现MapReduce计算框架并与NDFS(Nutch Distributed File System)结合支持Nutch的主要算法。至2006年逐渐成为一套完整而独立的软件，起名为Hadoop。2008年初，Hadoop成为 Apache的顶级项目，应用到除Yahoo!之外的不少互联网公司。

　　Hadoop主要提供了一套名为HDFS的分布式文件系统以及支持Map-Reduce的计算框架。此外，还提供构建在HDFS 和Map/Reduce之上的可扩展的数据仓库Hive，结构化数据库HBase，数据流高层语言Pig，高性能分布式协同服务ZooKeeper，以及 面向大规模分布式系统的数据收集软件Chukwa等。

如Yahoo!使用4000个节点的机群运行Hadoop，支持广告系统和 Web搜索的究；Facebook使用1000节点的机群运行Hadoop，存储日志数据，支持其上的数据分析和机器学习;百度用Hadoop处理每周 200TB的数据，进行搜索日志分析和网页数据挖掘工做;中移动研究院基于Hadoop开发了“大云”(BigCloud)系统，不但用于相关数据分析， 还对外提供服务；淘宝的Hadoop系统用于存储并处理电子商务的交易相关数据。国内的高校和科研院所基于Hadoop在数据存储、资源管理、做业调度、 性能优化、系统高可用性和安全性方面进行研究，相关研究成果多以开源形式贡献给Hadoop社区。 

　　在国内最先运用Hadoop技术的是互联网公司，由于Hadoop是开源软件，当时国内尚无针对Hadoop的交流平台，Hadoop in China志愿者社区正是在这样的形势下天然造成的。Hadoop in China大会是这个志愿者社区的窗口，其前身是Hadoop技术沙龙。第一次举办沙龙是在2008年11月23日，目的是为了让更多的Hadoop技术 爱好者可以互相认识，并可以在一块儿交流学术和技术心得。会议邀请了Yahoo!、Facebook、百度等互联网企业的资深技术人员到场讲解了 Hadoop技术的原理、应用和不少内部技术细节。通过两年多的努力，Hadoop in China大会已逐渐成为集技术研讨、交流和成果展现为一身的综合性技术交流平台，Hadoop in China 志愿者社区已成为国内推广Hadoop技术的重要力量之一。

原文连接：http://it.chinabyte.com/83/11520583.shtml

　　这是我写的第一篇关于Hadoop的博文，在学习Hadoop的过程当中遇到了不少的困难，在Hadoop搭建环境、实战开发过程当中也出现过不少的问题。所以，之后我也会陆续的把本身以前学习Hadoop的过程当中所遇到的问题以及解决方案的分享出来和你们一块儿研究学习。我相信积累是成长的必须过程。之后有空就多就常常去学习，思考，总结。万事开头难，不过今天算是迈出了第一步，千里之行始于足下，加油吧！