建议收藏|10+互联网大厂总结的大数据学习路线

你好，我是号主的朋友应癫，大数据领域十年研发和管理，曾就任于中国电子、美团、字节跳动。今天给你们分享的是我根据本身的经历和经验总结出来的大数据技术学习路线，教你如何突破大数据层层技术难关。 如图，你能够看到一些图标，红色的小红旗表示这个地方是重点，绿色的对勾表示这个地方是难点。对重点和难点更详细的解读，接下来我也会分享，如今仍是先来认识总体的学习路线。 整个学习路线在这里分红了 14 个阶段，而这 14 个阶段会被进一步划分为 5 大模块。

1. Java 知识

第一大模块是 Java 的知识，做为大数据从业人员，Java 是咱们必需要会的。由于大数据平台不少软件都是 Java 开发的，因此咱们必需要掌握这门编程语言。

2. 离线阶段

第二大模块是离线阶段。你已经知道大数据计算有离线计算和实时流式计算，离线计算在当下企业中应用得也比较多，实时虽然是王道，但现状是，在企业应用当中离线计算也占有挺大比例。对于离线阶段，你重点要学习 Hadoop 框架以及 Hadoop 生态圈当中的技术栈。除此以外，数据采集工具 Flume，大数据交互组件 Hue 也须要学习。以及前面提到的 HBase 非关系型据库，包括一些任务调度系统。这些咱们都把它归为 Hadoop 生态圈技术栈。在我给你们提供的学习路线图当中，离线阶段还有其余两个内容，就是 Redis 和 Kafka。这就是大数据平台常常涉及到的两个组件——Redis 和 Kafka，须要咱们去学习。其实 Kafka 比 Redis 在大数据平台当中更加常见。学完这部分，你能够选择作一作离线数仓项目巩固一下知识。

3. 实时阶段

实时阶段离不开 Spark，建议你在学习 Spark 以前，最好掌握 Scala 语言，每每在写 Spark 程序是用 Scala 语言去开发。Spark 不只有离线处理部分，也有实时处理部分。其中离线处理部分就叫做 Spark SQL，能够处理离线数据；实时处理部分叫做 Spark Streaming，能够处理流式数据。除此以外，你还应该去掌握一下 Spark 的源码以及 Spark 的调优措施。学习完 Spark 的知识点，你最好去作一个 Spark 实时处理项目，综合地练习一下。

4. 新技术实践阶段

最近一两年其实也出现了一些新技术，这些新技术也受到愈来愈多的企业关注，因此对于咱们来讲，仍是有必要去学习它的。好比实时处理框架 Flink，如今受到了不少企业关注。还有好比作多维分析、时效性特别高的软件，像 ClickHouse、Kudu、Kylin 以及 Druid。还有 Elastic Stack（ELK），即海量日志平台。其实 ELK 并不算是很新，放在这里是提醒你注意下学习大数据平台知识的时候， 也应该学习到 ELK。在新技术实践阶段，也最好作一个项目，把这些知识进行综合性地练习。

5. 机器学习阶段

由于大数据发展的下一步就是人工智能机器学习，这两个领域中间的界限如今很是模糊了。在大数据开发的过程当中也常常会去调用一些机器学习算法，因此仍是要储备必定的机器学习知识，这样的话咱们才更有竞争力。对于机器学习，咱们常常用 Python 语言，因此你能够去学习 Python，再去学习一些机器学习框架，好比 TensorFlow 以及 Spark MLib。最后固然你也能够搞一个项目去练习，夯实你所学习到的大数据和算法的知识。