spark

时间 2021-08-15

原文原文链接

#spark到底解决了什么根本性的技术问题？ ##产生的技术环境避免在多种运算场景，多种集群部署集群计算数据，典型的思想mr,后来最重要的是hadoop,分布式集群，会把编程简化为位置感知、容错、负载均衡，在集群上操作超大数据，这种模式是数据流的方式；hdfs->计算->hdfs tez dag 基于数据流的dag虽然实现任务调度和故障恢复，但是每次操作读写磁盘，如果同样一次操作，如果第二次操

>>阅读原文<<

1. 【Spark】Spark七： Spark概述
2. 【Spark】Spark二：Spark RDD初步
3. Spark四大组件包括Spark Streaming、Spark SQL、Spark MLlib和Spark GraphX。
4. [Spark] 03 - Spark SQL
5. 【Spark】----Spark on Yarn
6. spark-shell && spark-submit
7. Spark(五)Spark Streaming
8. Spark（十）：Spark Streaming
9. [Spark] Hello Spark
10. spark—3（Spark Scheduler）
更多相关文章...
• TiDB数据库的应用场景 - NoSQL教程
• 使用Rxjava计算圆周率
• NewSQL-TiDB相关