大数据方面核心技术有哪些？新人必读

大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各类技术范畴和不一样的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。

在这里仍是要推荐下我本身建的大数据学习交流群:529867072，群里都是学大数据开发的，若是你正在学习大数据 ，小编欢迎你加入,你们都是软件开发党，不按期分享干货（只有大数据软件开发相关的），包括我本身整理的一份最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深刻大数据的小伙伴加入。

1、数据采集与预处理

对于各类来源的数据，包括移动互联网数据、社交网络的数据等，这些结构化和非结构化的海量数据是零散的，也就是所谓的数据孤岛，此时的这些数据并无什么意义，数据采集就是将这些数据写入数据仓库中，把零散的数据整合在一块儿，对这些数据综合起来进行分析。数据采集包括文件日志的采集、数据库日志的采集、关系型数据库的接入和应用程序的接入等。在数据量比较小的时候，能够写个定时的脚本将日志写入存储系统，但随着数据量的增加，这些方法没法提供数据安全保障，而且运维困难，须要更强壮的解决方案。

Flume NG做为实时日志收集系统，支持在日志系统中定制各种数据发送方，用于收集数据，同时，对数据进行简单处理，并写到各类数据接收方(好比文本，HDFS，Hbase等)。Flume NG采用的是三层架构：Agent层，Collector层和Store层，每一层都可水平拓展。其中Agent包含Source，Channel和 Sink，source用来消费（收集）数据源到channel组件中，channel做为中间临时存储，保存全部source的组件信息，sink从channel中读取数据，读取成功以后会删除channel中的信息。

NDC，Netease Data Canal，直译为网易数据运河系统，是网易针对结构化数据库的数据实时迁移、同步和订阅的平台化解决方案。它整合了网易过去在数据传输领域的各类工具和经验，将单机数据库、分布式数据库、OLAP系统以及下游应用经过数据链路串在一块儿。除了保障高效的数据传输外，NDC的设计遵循了单元化和平台化的设计哲学。

Logstash是开源的服务器端数据处理管道，可以同时从多个来源采集数据、转换数据，而后将数据发送到您最喜欢的 “存储库” 中。通常经常使用的存储库是Elasticsearch。Logstash 支持各类输入选择，能够在同一时间从众多经常使用的数据来源捕捉事件，可以以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各类 AWS 服务采集数据。

Sqoop，用来将关系型数据库和Hadoop中的数据进行相互转移的工具，能够将一个关系型数据库(例如Mysql、Oracle)中的数据导入到Hadoop(例如HDFS、Hive、Hbase)中，也能够将Hadoop(例如HDFS、Hive、Hbase)中的数据导入到关系型数据库(例如Mysql、Oracle)中。Sqoop 启用了一个 MapReduce 做业（极其容错的分布式并行计算）来执行任务。Sqoop 的另外一大优点是其传输大量结构化或半结构化数据的过程是彻底自动化的。

流式计算是行业研究的一个热点，流式计算对多个高吞吐量的数据源进行实时的清洗、聚合和分析，能够对存在于社交网站、新闻等的数据信息流进行快速的处理并反馈，目前大数据流分析工具备不少，好比开源的strom，spark streaming等。

Strom集群结构是有一个主节点（nimbus）和多个工做节点（supervisor）组成的主从结构，主节点经过配置静态指定或者在运行时动态选举，nimbus与supervisor都是Storm提供的后台守护进程，之间的通讯是结合Zookeeper的状态变动通知和监控通知来处理。nimbus进程的主要职责是管理、协调和监控集群上运行的topology（包括topology的发布、任务指派、事件处理时从新指派任务等）。supervisor进程等待nimbus分配任务后生成并监控worker（jvm进程）执行任务。supervisor与worker运行在不一样的jvm上，若是由supervisor启动的某个worker由于错误异常退出（或被kill掉），supervisor会尝试从新生成新的worker进程。

当使用上游模块的数据进行计算、统计、分析时，就可使用消息系统，尤为是分布式消息系统。Kafka使用Scala进行编写，是一种分布式的、基于发布/订阅的消息系统。Kafka的设计理念之一就是同时提供离线处理和实时处理,以及将数据实时备份到另外一个数据中心，Kafka能够有许多的生产者和消费者分享多个主题，将消息以topic为单位进行概括；Kafka发布消息的程序称为producer，也叫生产者，预订topics并消费消息的程序称为consumer，也叫消费者；当Kafka以集群的方式运行时，能够由一个服务或者多个服务组成，每一个服务叫作一个broker，运行过程当中producer经过网络将消息发送到Kafka集群，集群向消费者提供消息。Kafka经过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consumer使用pull模式从broker订阅并消费消息。Kafka能够和Flume一块儿工做，若是须要将流式数据从Kafka转移到hadoop，可使用Flume代理agent，将Kafka当作一个来源source，这样能够从Kafka读取数据到Hadoop。

Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步服务。它的做用主要有配置管理、名字服务、分布式锁和集群管理。配置管理指的是在一个地方修改了配置，那么对这个地方的配置感兴趣的全部的均可以得到变动，省去了手动拷贝配置的繁琐，还很好的保证了数据的可靠和一致性，同时它能够经过名字来获取资源或者服务的地址等信息，能够监控集群中机器的变化，实现了相似于心跳机制的功能。

2、数据存储

Hadoop做为一个开源的框架，专为离线和大规模数据分析而设计，HDFS做为其核心的存储引擎，已被普遍用于数据存储。

HBase，是一个分布式的、面向列的开源数据库，能够认为是hdfs的封装，本质是数据存储、NoSQL数据库。HBase是一种Key/Value系统，部署在hdfs上，克服了hdfs在随机读写这个方面的缺点，与hadoop同样，Hbase目标主要依靠横向扩展，经过不断增长廉价的商用服务器，来增长计算和存储能力。

Phoenix，至关于一个Java中间件，帮助开发工程师可以像使用JDBC访问关系型数据库同样访问NoSQL数据库HBase。

Yarn是一种Hadoop资源管理器，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。Yarn由下面的几大组件构成：一个全局的资源管理器ResourceManager、ResourceManager的每一个节点代理NodeManager、表示每一个应用的Application以及每个ApplicationMaster拥有多个Container在NodeManager上运行。

Mesos是一款开源的集群管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等应用架构。

Redis是一种速度很是快的非关系数据库，能够存储键与5种不一样类型的值之间的映射，能够将存储在内存的键值对数据持久化到硬盘中，使用复制特性来扩展性能，还可使用客户端分片来扩展写性能。

Atlas是一个位于应用程序与MySQL之间的中间件。在后端DB看来，Atlas至关于链接它的客户端，在前端应用看来，Atlas至关于一个DB。Atlas做为服务端与应用程序通信，它实现了MySQL的客户端和服务端协议，同时做为客户端与MySQL通信。它对应用程序屏蔽了DB的细节，同时为了下降MySQL负担，它还维护了链接池。Atlas启动后会建立多个线程，其中一个为主线程，其他为工做线程。主线程负责监听全部的客户端链接请求，工做线程只监听主线程的命令请求。

Kudu是围绕Hadoop生态圈创建的存储引擎，Kudu拥有和Hadoop生态圈共同的设计理念，它运行在普通的服务器上、可分布式规模化部署、而且知足工业界的高可用要求。其设计理念为fast analytics on fast data。做为一个开源的存储引擎，能够同时提供低延迟的随机读写和高效的数据分析能力。Kudu不但提供了行级的插入、更新、删除API，同时也提供了接近Parquet性能的批量扫描操做。使用同一份存储，既能够进行随机读写，也能够知足数据分析的要求。Kudu的应用场景很普遍，好比能够进行实时的数据分析，用于数据可能会存在变化的时序数据应用等。

在数据存储过程当中，涉及到的数据表都是成千上百列，包含各类复杂的Query，推荐使用列式存储方法，好比parquent,ORC等对数据进行压缩。Parquet 能够支持灵活的压缩选项，显著减小磁盘上的存储。

3、数据清洗

MapReduce做为Hadoop的查询引擎，用于大规模数据集的并行计算，”Map（映射）”和”Reduce（归约）”，是它的主要思想。它极大的方便了编程人员在不会分布式并行编程的状况下，将本身的程序运行在分布式系统中。

随着业务数据量的增多，须要进行训练和清洗的数据会变得愈来愈复杂，这个时候就须要任务调度系统，好比oozie或者azkaban，对关键任务进行调度和监控。

Oozie是用于Hadoop平台的一种工做流调度引擎，提供了RESTful API接口来接受用户的提交请求(提交工做流做业)，当提交了workflow后，由工做流引擎负责workflow的执行以及状态的转换。用户在HDFS上部署好做业(MR做业)，而后向Oozie提交Workflow，Oozie以异步方式将做业(MR做业)提交给Hadoop。这也是为何当调用Oozie 的RESTful接口提交做业以后能当即返回一个JobId的缘由，用户程序没必要等待做业执行完成（由于有些大做业可能会执行好久(几个小时甚至几天)）。Oozie在后台以异步方式，再将workflow对应的Action提交给hadoop执行。

Azkaban也是一种工做流的控制引擎，能够用来解决有多个hadoop或者spark等离线计算任务之间的依赖关系问题。azkaban主要是由三部分构成：Relational Database，Azkaban Web Server和Azkaban Executor Server。azkaban将大多数的状态信息都保存在MySQL中，Azkaban Web Server提供了Web UI，是azkaban主要的管理者，包括project的管理、认证、调度以及对工做流执行过程当中的监控等；Azkaban Executor Server用来调度工做流和任务，记录工做流或者任务的日志。

流计算任务的处理平台Sloth，是网易首个自研流计算平台，旨在解决公司内各产品日益增加的流计算需求。做为一个计算服务平台，其特色是易用、实时、可靠，为用户节省技术方面（开发、运维）的投入，帮助用户专一于解决产品自己的流计算需求。

4、数据查询分析

Hive的核心工做就是把SQL语句翻译成MR程序，能够将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询功能。Hive自己不存储和计算数据，它彻底依赖于HDFS和MapReduce。能够将Hive理解为一个客户端工具，将SQL操做转换为相应的MapReduce jobs，而后在hadoop上面运行。Hive支持标准的SQL语法，免去了用户编写MapReduce程序的过程，它的出现可让那些精通SQL技能、可是不熟悉MapReduce 、编程能力较弱与不擅长Java语言的用户可以在HDFS大规模数据集上很方便地利用SQL 语言查询、汇总、分析数据。

Hive是为大数据批量处理而生的，Hive的出现解决了传统的关系型数据库(MySql、Oracle)在大数据处理上的瓶颈 。Hive 将执行计划分红map->shuffle->reduce->map->shuffle->reduce…的模型。若是一个Query会被编译成多轮MapReduce，则会有更多的写中间结果。因为MapReduce执行框架自己的特色，过多的中间过程会增长整个Query的执行时间。在Hive的运行过程当中，用户只须要建立表，导入数据，编写SQL分析语句便可。剩下的过程由Hive框架自动的完成。

Impala是对Hive的一个补充，能够实现高效的SQL查询。使用Impala来实现SQL on Hadoop，用来进行大数据实时查询分析。经过熟悉的传统关系型数据库的SQL风格来操做大数据，同时数据也是能够存储到HDFS和HBase中的。Impala没有再使用缓慢的Hive+MapReduce批处理，而是经过使用与商用并行关系数据库中相似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），能够直接从HDFS或HBase中用SELECT、JOIN和统计函数查询数据，从而大大下降了延迟。Impala将整个查询分红一执行计划树，而不是一连串的MapReduce任务，相比Hive没了MapReduce启动时间。

Hive 适合于长时间的批处理查询分析，而Impala适合于实时交互式SQL查询，Impala给数据人员提供了快速实验，验证想法的大数据分析工具，能够先使用Hive进行数据转换处理，以后使用Impala在Hive处理好后的数据集上进行快速的数据分析。总的来讲：Impala把执行计划表现为一棵完整的执行计划树，能够更天然地分发执行计划到各个Impalad执行查询，而不用像Hive那样把它组合成管道型的map->reduce模式，以此保证Impala有更好的并发性和避免没必要要的中间sort与shuffle。可是Impala不支持UDF，能处理的问题有必定的限制。

Spark拥有Hadoop MapReduce所具备的特色，它将Job中间输出结果保存在内存中，从而不须要读取HDFS。Spark 启用了内存分布数据集，除了可以提供交互式查询外，它还能够优化迭代工做负载。Spark 是在 Scala 语言中实现的，它将 Scala 用做其应用程序框架。与 Hadoop 不一样，Spark 和 Scala 可以紧密集成，其中的 Scala 能够像操做本地集合对象同样轻松地操做分布式数据集。

Nutch 是一个开源Java 实现的搜索引擎。它提供了咱们运行本身的搜索引擎所需的所有工具，包括全文搜索和Web爬虫。

Solr用Java编写、运行在Servlet容器（如Apache Tomcat或Jetty）的一个独立的企业级搜索应用的全文搜索服务器。它对外提供相似于Web-service的API接口，用户能够经过http请求，向搜索引擎服务器提交必定格式的XML文件，生成索引；也能够经过Http Get操做提出查找请求，并获得XML格式的返回结果。

Elasticsearch是一个开源的全文搜索引擎，基于Lucene的搜索服务器，能够快速的储存、搜索和分析海量的数据。设计用于云计算中，可以达到实时搜索，稳定，可靠，快速，安装使用方便。

还涉及到一些机器学习语言，好比，Mahout主要目标是建立一些可伸缩的机器学习算法，供开发人员在Apache的许可下无偿使用；深度学习框架Caffe以及使用数据流图进行数值计算的开源软件库TensorFlow等，经常使用的机器学习算法好比，贝叶斯、逻辑回归、决策树、神经网络、协同过滤等。

5、数据可视化

对接一些BI平台，将分析获得的数据进行可视化，用于指导决策服务。主流的BI平台好比，国外的敏捷BI Tableau、Qlikview、PowrerBI等，国内的SmallBI和新兴的网易有数（可点击这里免费试用）等。

在上面的每个阶段，保障数据的安全是不可忽视的问题。

基于网络身份认证的协议Kerberos，用来在非安全网络中，对我的通讯以安全的手段进行身份认证，它容许某实体在非安全网络环境下通讯，向另外一个实体以一种安全的方式证实本身的身份。

控制权限的ranger是一个Hadoop集群权限框架，提供操做、监控、管理复杂的数据权限，它提供一个集中的管理机制，管理基于yarn的Hadoop生态圈的全部数据权限。能够对Hadoop生态的组件如Hive，Hbase进行细粒度的数据访问控制。经过操做Ranger控制台，管理员能够轻松的经过配置策略来控制用户访问HDFS文件夹、HDFS文件、数据库、表、字段权限。这些策略能够为不一样的用户和组来设置，同时权限可与hadoop无缝对接。