什么是大数据技术架构

大数据的应用开发过于偏向底层，具备学习难度大，涉及技术面广的问题，这制约了大数据的普及。如今须要一种技术，把大数据开发中一些通用的，重复使用的基础代码、算法封装为类库，下降大数据的学习门槛，下降开发难度，提升大数据项目的开发效率。

大数据在工做中的应用有三种：与业务相关，好比用户画像、风险控制等；

与决策相关，数据科学的领域，了解统计学、算法，这是数据科学家的范畴；与工程相关，如何实施、如何实现、解决什么业务问题，这是数据工程师的工做。

第一类：历来源来看分为内部数据和外部数据；数据源的特色决定数据采集与数据存储的技术选型，我根据数据源的特色将其分为四大类：

第二类：从结构来看分为非结构化数据和结构化数据；

第三类：从可变性来看分为不可变可添加数据和可修改删除数据；

第四类，从规模来看分为大量数据和小量数据

大数据平台第一个要素就是数据源，咱们要处理的数据源每每是在业务系统上，数据分析的时候可能不会直接对业务的数据源进行处理，而是先通过数据采集、数据存储，以后才是数据分析和数据处理。

从整个大的生态圈能够看出，要完成数据工程须要大量的资源；数据量很大须要集群；要控制和协调这些资源须要监控和协调分派；面对大规模的数据怎样部署更方便更容易；还牵扯到日志、安全、还可能要和云端结合起来，这些都是大数据圈的边缘，一样都很重要。

大快大数据平台（DKH）,是大快公司为了打通大数据生态系统与传统非大数据公司之间的通道而设计的一站式搜索引擎级，大数据通用计算平台。传统公司经过使用DKH，能够轻松的跨越大数据的技术鸿沟，实现搜索引擎级的大数据平台性能。

1.    DKH，有效的集成了整个HADOOP生态系统的所有组件，并深度优化，从新编译为一个完整的更高性能的大数据通用计算平台，实现了各部件的有机协调。所以DKH相比开源的大数据平台，在计算性能上有了高达5倍（最大）的性能提高。
2.    DKH，更是经过大快独有的中间件技术，将复杂的大数据集群配置简化至三种节点（主节点、管理节点、计算节点），极大的简化了集群的管理运维，加强了集群的高可用性、高可维护性、高稳定性。
3.    DKH，虽然进行了高度的整合，可是仍然保持了开源系统的所有优势，并与开源系统100%兼容，基于开源平台开发的大数据应用，无需通过任何改动，便可在DKH上高效运行，而且性能会有最高5倍的提高。
4.    DKH，更是集成了大快的大数据一体化开发框架（FreeRCH）, FreeRCH开发框架提供了大数据、搜索、天然语言处理和人工智能开发中经常使用的二十多个类，经过总计一百余种方法，实现了10倍以上的开发效率的提高。
5.    DKH的SQL版本，还提供了分布式MySQL的集成，传统的信息系统，可无缝的实现面向大数据和分布式的跨越。

DKH标准平台技术构架图