学hadoop须要什么基础

最近一段时间一直在接触关于hadoop方面的内容，从刚接触时的一片空白，到如今也可以说清楚一些问题。这中间到底经历过什么只怕也就是只有通过的人才会体会到吧。前几天看到有我的问“学hadoop须要什么基础”，这个问题好像至今还没好好细想过，多是由于身边有大神在带着我学习hadoop的缘故，也就没想过这样的一个简单的问题。

咱们目前在用的hadoop版本并非原生态的版本，咱们在用的是国内的一款商业发行版，叫DKhadoop。大快搜索推出的一款原生态开发的Hadoop集成生态环境。从使用的效果上看DKhadoop与开源环境是能够作到彻底兼容的。准备过段时间抽个空，试着写一下以DKhadoop为切入点关于学习hadoop须要掌握什么基础。

【DKhadoop基础技术架构图】

关于学hadoop须要什么基础这样的问题，看到一篇关于介绍学习原生hadoop的分享，我的以为仍是很不错的一篇文章。这里也分享给你们，供参考之用。

关于学习hadoop须要具有什么基础知识，首先应该从总体了解hadoop，包括hadoop是什么，可以帮助咱们解决什么问题，以及hadoop的使用场景等。在有了总体上的了解后，就能够开始系统的学习hadoop。固然，如果可以结合一些实践性的东西学习会更有助于理解hadoop。

学习hadoop须要什么基础：

Linux：

• 须要可以熟练操做linux经常使用命令以及网络配置；
• 熟悉用户以及权限管理操做；
• 须要熟悉软件包以及系统命令管理；
• 还须要学习一下shell编程。

Java：

• 须要具有必定的javase基础知识；
• 若是懂java web及各类框架知识那就更好了。

虚拟机：

• 须要掌握虚拟机；
• 须要安装linux操做系统
• 须要配置虚拟机网络

除了上述这几个方面，咱们还须要了解hadoop的单机模式、伪分布模式和分布式模式的搭建方式。了解MapReduce分布式计算框架、Yarn集群资源管理和调度平台、hdfs分布式文件系统、hive数据仓库、HBase实时分布式数据库、Flume日志收集工具、sqoop数据库ETL工具、zookeeper分布式协做服务、Mahout数据挖掘库等。