目录：个人大数据学习笔记

前言

PC端的这个右侧的目录找东西确实好找点，我每次写也很是注意看这块排版工不工整🤣，用这里去直接跳到对应的内容真的还算方便，因此就想着作个目录，之后若是写了新的，也会在这篇写上标题。

按照不一样技术框架的划分形式。已经有写过的就写上，没写过的就先空着。

1. 分布式存储 HDFS

① HDFS基础概念篇

内容概要：block的概念与副本、机架存储策略、三大组件：NameNode，DataNode，SecondaryNamenode、元数据metaData、心跳机制和负载均衡机制

② HDFS的读写流程和一些重要策略

内容概要：HDFS的读写流程，hadoop HA高可用，联邦，存储小文件时的HAR和Sequence File

2. 分布式计算 MapReduce

① MapReduce介绍

内容概要：mapper和reducer代码、shuffle、二排、数据倾斜的判断和减缓

3. 资源调度 Yarn

① 带你入坑大数据（四）--- 资源调度框架Yarn

内容概要：全是理论性的东西。yarn的应用场景、核心组件、应用调度过程、yarn的典型应用

4.分布式协调 Zookeeper

zookeeper写的时候姑且是按照Java的套路去写的，和大数据的操做扯不上关系，以后可能会进行相应的补充

① Zookeeper的基础概念

内容概要：包括zookeeper的简介和特征，会话机制、znode的数据构成和节点类型，还有zk的监听机制

② Zookeeper实现分布式锁

内容概要：锁的特征，zkClient的使用、使用节点不可重名+watch机制实现分布式锁、使用取号 + 最小号取lock + watch原理实现分布式锁

③ Zookeeper集群的搭建和leader选举

内容概要：伪集群形式的zookeeper的集群搭建，集群链接和监控，paxos算法的解释说明、zookeeper的leader选举机制

④ Zookeeper的分布式队列

内容概要：ZAB协议的介绍，数据同步，丢弃事务，leader崩溃恢复、zookeeper的分布式队列的实现逻辑及代码实现

⑤ Zookeeper的配置中心应用

内容概要：配置中心的介绍，数据结构，代码实现

⑥ Zookeeper的Master选举及官网小览

内容概要：master选举和zookeeper的相关实现、官网本身的一个浏览过程

5.Hadoop源码及优化

前置两篇RPC基础

从零开始的高并发（七）--- RPC的介绍，协议及框架

内容概要：简单过了一遍RPC是什么，三个过程，为何咱们须要它，它的特性和适用场景，RPC的流程及协议定义还有它的框架的一些小知识

从零开始的高并发（八）--- RPC框架的简单实现

内容概要：RPC的流程和任务分析及代码实现，附带过程优化，优化部分推荐先直接跳转总图查看

① Hadoop源码篇 --- NameNode的启动流程解析

内容概要：如题，NameNode启动流程分析，思路为验证NameNode是否是一个RPC的服务端

② Hadoop源码篇 --- DataNode的初始化与注册流程

内容概要：如题，DataNode启动流程分析，思路也是验证它是不是RPC的客户端，还有Hadoop HA高可用方案原理

6.Hive

7.Hbase

8.Flume

9.Sqoop

10.azkaban

11.impala

12.Spark

说到它就巨头痛。Spark是很是多东西的，有基础，有spark core，有spark sql，有spark streaming

13.Kafka基础

① 大白话带你认识Kafka

内容概要：Kafka中的一些基础角色的介绍，topic，partition，producer，consumer，message，副本，消费者组，controller、kafka和zookeeper的配合，kafka的顺序写和零拷贝，日志分段存储机制和kafka的三层网络模型

② Kafka的集群部署实践及运维相关

内容概要：这篇并非在说概念，而是说一些集群的参数考量方面、集群搭建的重要参数、集群的简单操做和一些客户端

③ Kafka的生产者原理及重要参数说明

内容概要：生产者原理（ProducerRecord，Partitioner、缓冲区和Sender线程），生产者的代码及一些调优参数

④ Kafka的生产者案例和消费者原理解析

内容概要：生产者的一个小案例实现及消费者原理（offset，coordinator），消费者代码及核心参数

⑤ Kafka的运行流程总结和源码前准备

内容概要：LEO&HW更新原理，kafka运行的总流程梳理，源码的阅读环境

14.Kafka源码

① Kafka源码预热篇--- Java NIO

内容概要：传统IO和NIO的区别，NIO（buffer，channel，selector、pipe）的介绍及阻塞性与非阻塞性网络通讯的代码演示，主要是为了Kafka源码准备

15.Flink

和Spark Streaming属于计算类框架，看状况

finally

即便前方仍旧荆棘丛生，但是咱们没有理由放弃奔跑···

这个flag不管对于你我来讲都是一个考验，在第一篇HDFS的时候，就说过了这虽然是相似于一份学习笔记，但是绝对有头有尾，会用最清晰明了的语言来描述知识点，但愿你们也能有所收获。以这个目录为证，相信我必定能说到作到。