开源 | [云框架]SMACK大数据架构

跟硅谷大数据工程师谈笑风声？Spark、Storm、Pig、Hive……仍是Hadoop？大数据技术前沿公司会告诉你——SMACK is the new buzzword！SMACK并不是单一技术，而是由Spark、Mesos、Akka、Cassandra、Kafka组成的大数据架构，适用于普遍的数据处理场景，可完成低延迟扩展及数据复制、统一管理异构负载集群，并经过单一平台知足不一样架构设计和不一样应用的需求。（A Brief History of the SMACK Stack）

在面对数据源数量急剧增长、数据样本获取难度升高、数据分析时效性差、数据分析投资回报率低等一系列挑战时，SMACK能够解决Hadoop等熟知技术没法解决的诸多问题，特别是物联网化、API化趋势下big data向fast data转变所带来的新需求，以及大数据处理对于Data Pipeline的依赖。

咱们能够把SMACK看做是一种框架组合思想，其中技术能够增长或被更适合的技术替代，以便咱们更好的完成大数据处理。本篇云框架即在引擎层增长了Flink用于处理实时数据，使用Kubernetes替换Mesos做为容器层，以某网站数据为例，提供SMACK大数据框架的最佳实践，包括SMACK、数据接入、数据展现在内的完整框架。

 

Github地址：https://github.com/cloudframeworks-smack/user-guide-smack