Spark 空间数据管理的一些思考

概述 Spark对空间数据的管理的两个重要方面:数据分区和数据索引 数据分区 数据分区有几个重要的关注点:空间邻近性、数据覆盖完整性、数据均匀分布、数据冗余 空间数据的分区方案一般使用空间索引,控制每一个索引数据项中的数据量,把每一个索引项中的数据作为一个分区,这样可以保证分区中的具有数据良好的空间邻近性。分区空间邻近性有利于使用部分分区即可完成进行空间查询、连接等操作。 为了得到具体的分区结果,
相关文章
相关标签/搜索