SparkStream实时更新hive表数据(获取用户前N条记录)

这个功能主要是实现,SparkSteam实时更新覆盖原表数据,不是追加,因为业务需求,须要不断获取每一个用户前N条信息用于数据查询,考虑过直接insert hive表,可是因为hive的jdbc不稳定,容易出现断线、崩溃等问题,因此采用了直接写hdfs的形式。java class SparkRealTimeAnalysisWebService() { def realTimeDataAlys
相关文章
相关标签/搜索