hive表数据更新的一种解决方案(使用spark进行)

hive对update和delete的支持不是很好,可是咱们能够将这两种操做转化为insert操做,查询时取最新记录来知足hive表数据更新的需求。web 思路: 为每一张表增长两个字段: updated:标记这次变动时间, 每次变动都须要填写。 deleted: 标记这次记录是否为删除操做,只需删除的时候标记为1便可。sql 举例: 假设咱们原来有如下数据(主键为id和id2):svg id n
相关文章
相关标签/搜索