Spark--数据读取与保存

一、动机 有时候数据量会大到本机可能没法存储,这时就须要探索别的读取和保存方法了。 Spark支持不少种输入源和输出源。一部分缘由是Spark自己是基于Hadoop生态圈二构建的,so spark能够经过Hadoop MapReduce 所使用的InputFormat 和 OutPutFormat 接口访问数据,而大部分常见的文件格式与存储系统(S3,HDFS,Cassandra,HBase等)都
相关文章
相关标签/搜索