作大数据工程师须要掌握哪些技能呢？

大数据是眼下很是时髦的技术名词，与此同时天然也催生出了一些与大数据处理相关的职业，经过对数据的挖掘分析来影响企业的商业决策。

Hadoop工程师用人企业广泛要求掌握如下技术：

一、熟悉Linux开发环境，熟悉Shell命令

二、熟悉Java、python、scala语言（至少一种）

三、具有较丰富的基于Hadoop、Map Reduce、Yarn、Storm、Spark、Hive、Hbase、kafka、Flume、HDFS、Spark Streaming等的大数据处理项目经验。

因而每家公司对大数据工做的要求不尽相同：有的强调数据库编程、有的突出应用数学和统计学知识、有的则要求有咨询公司或投行相关的经验、有些是但愿能找到懂得产品和市场的应用型人才。正由于如此，不少公司会针对本身的业务类型和团队分工，给这群与大数据打交道的人一些新的头衔和定义：数据挖掘工程师、大数据专家、数据研究员、用户分析专家等都是常常在国内公司里出现的Title，咱们将其统称为“大数据工程师”。

因为国内的大数据工做还处在一个有待开发的阶段，所以能从其中挖掘出多少价值彻底取决于工程师的我的能力。已经身处这个行业的专家给出了一些人才需求的大致框架，包括要有计算机编码能力、数学及统计学相关背景，固然若是能对一些特定领域或行业有比较深刻的了解，对于其快速判断并抓准关键因素则更有帮助。

目前国内的大数据应用多集中在互联网领域，有超过56%的企业在筹备发展大数据研究，“将来5年，94%的公司都会须要数据科学家。”