spark-dataset

一个强类型的对象集合，能够并行地进行转换。 *使用函数或关系操做。 不一样于[ [RDD] ]在如下方面： *在内部，由催化剂逻辑计划表示，数据存储。 *以编码形式。此表示容许额外的逻辑操做和 *使许多操做（排序，洗牌，等）进行反序列化到无对象。 *建立一个]须要一个显式的[能够][数据集 *用于序列化的对象转换为二进制格式。 编码器也可以映射 *给定对象到星火SQL类型系统的模式。web 与此相

>>阅读原文<<