如何成为一名大数据工程师？

将来，对熟练的大数据工程师的需求将急速增加。现实的状况是这样的，不管公司属于哪一个行业，要想在当今竞争激烈的市场环境中取得成功，须要一个强大的软件架构用来存储和访问公司数据，最好从公司创立一开始就要搭建它。

在现在有时候有数据的地方就叫大数据，这未免有些夸张，在本文中统称为数据工程师和数据科学家。

先了解一下，数据工程师究竟作什么事？一我的怎么样成为数据工程师？咱们将讨论这个有趣的领域以及如何成为数据工程师。

数据工程师都作什么？
数据工程师负责建立和维护分析基础架构，该基础架构几乎能够支持数据世界中的全部其余功能。他们负责大数据架构的开发、构建、维护和测试，例如数据库和大数据处理系统。大数据工程师还负责建立用于建模，挖掘，获取和验证数据集合等流程。

在这里仍是要推荐下我本身建的大数据学习交流群:529867072，群里都是学大数据开发的，若是你正在学习大数据 ，小编欢迎你加入,你们都是软件开发党，不按期分享干货（只有大数据软件开发相关的），包括我本身整理的一份最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深刻大数据的小伙伴加入。

所以，数据工程师须要掌握通用脚本语言和工具，利用和改进数据分析系统，不断提升数据数量和质量。

数据工程师与数据科学家有何区别
虽然在技能和角色方面存在必定程度的重叠，但这两个职位正日益分化为不一样的角色。

数据科学家更关注与数据基础设施的互动，而不是去建立和维护数据基础设施。一般负责进行市场和业务运营研究，以肯定趋势和关系，数据科学家用各类复杂的机器和方法与数据进行交互并对其采起行动。

数据科学家一般精通机器学习和高级数据建模，由于他们但愿借助高级数学模型和算法将原始数据转化为可操做的，可理解的内容。这些信息一般用做分析来源，以告诉决策者“更大的图景”。

那么是什么让数据科学家与数据工程师不一样呢？二者主要区别在目标焦点。数据工程师更专一于构建用于数据生成和数据基础架构; 数据科学家专一于对生成的数据进行数学和统计分析。

数据工程师的关键技能
下面介绍数据工程师所需的几项关键技能。

1.大数据架构的工具与组件

数据工程师更关注分析基础架构，所以所需的大部分技能都是以架构为中心的。

2.深刻了解SQL和其它数据库解决方案

数据工程师须要熟悉数据库管理系统，深刻了解SQL相当重要。一样其它数据库解决方案，例如Cassandra或BigTable也须熟悉，由于不是每一个数据库都是由可识别的标准来构建。

3.数据仓库和ETL工具

数据仓库和ETL经验对于数据工程师相当重要。像Redshift或Panoply这样的数据仓库解决方案，以及ETL工具，好比StitchData或Segment都很是有用。此外，数据存储和数据检索经验一样重要，由于处理的数据量是个天文数字。

4.基于Hadoop的分析（HBase，Hive，MapReduce等）

对基于Apache Hadoop的分析有深入理解是这个领域的一个很是必要的需求，通常状况下HBase，Hive和MapReduce的知识存储是必需的。

5.编码

说到解决方案，编码与开发能力是一个重要的优势（这也是许多职位的要求），你要熟悉Python，C/C++，Java，Perl，Golang或其它语言，这会很是有价值。

6.机器学习

虽然数据工程师主要关注的是数据科学，但对数据处理技术的理解会加分，好比一些统计分析知识和基础数据建模。

机器学习已经成为标准数据科学，该领域的知识能够帮咱们构建同类产品的解决方案。这种知识还有一个好处，就是让你在这个领域极具市场价值，由于在这种状况下可以“戴上两顶帽子”会让你成为一个更强大的工具。

7.多种操做系统

最后，须要咱们对Unix，Linux和Solaris系统有深刻了解，许多数学工具基于这些操做系统，由于它们有Windows和Mac系统功能没有的访问权限和特殊硬件需求。

如何成为数据工程师？
与其余职业相比，数据工程师须要用更复杂的学习方法。数据工程师一般有计算机科学技术相关学位会更好，而后再进一步学习供应商特定的认证计划和培训课程。

计算机相关学位虽然重要，但只是故事的一部分，得到适合的认证可能很是有价值，市场上也有一些大数据工程师专门认证，以下：

Google认证专家 – 数据工程。该认证代表学生熟悉数据工程原理，能够做为该领域的助理或专业人员。

IBM认证数据工程师 – 大数据。此认证更侧重于数据工程技能集的大数据特定应用，而不是通常技能，这被许多人视为黄金标准。

Cloudera的CCP数据工程师：该认证针对Cloudera解决方案，体现学生在ETL工具和分析方面的经验。

二级技能认证，例如MCSE（微软认证解决方案专家），涵盖更普遍的主题，但具备特定的子认证，如MCSE：数据管理与分析。

固然，在线教育平台提供该领域的重要培训，Udemy提供了数据工程众多的课程和数据科学，其余如EDX和Memrise也提供了相似课程，DataCamp专一于数据科学和工程，Galvanize的品类则更为普遍。

小结
虽然这些数据解决方案能够帮助您踏进大数据工程领域，虽然它们有分发或授予认证，但只是提供证书或文凭。虽然通常学习够了，但它们不能被认视为实际认证或实践的替代品。

但愿本文可以给你们阐明数据工程师所需的特定知识，技能和要求。这个领域正在迅速发展，但它也充满了挑战与险阻。在工做中经过适当的认证填补技能组合的空白，实现最好学习的关键一步。