Spark中的Catalyst

spark streaming依赖于 dataset dataframe，而dataset dataframe依赖于catalyst；catalyst不仅仅是sql的一个解析器引擎，应看做spark新一代的解析器引擎，扩展到spark streaming、saprk sql、graph等等；catalyst非常方便添加优化的技术，随意扩展，spark 2.x 对dataset进行编程，datase

>>阅读原文<<