05-数据读取与保存

前言 Spark中常用的文件格式有:文本文件、JSON、CSV、SequenceFile等。 下面介绍这些文件格式的读取与保存。 1 文本文件 读取 测试数据: 使用 textFile,参数为目录 a: 使用 wholeTextFile,参数为目录 a: 因此,根据实际需要可以选择使用哪种方式读取文本文件。 保存 保存使用 saveAsFile,参数为目录名称,文件保存在该目录下: 2 JSON
相关文章
相关标签/搜索