sparkstreaming性能调优记录

场景： RDD<JSONObject>，JSONObject里面有TBNAME字段和PAYLOAD字段，分别表明表名和原始日志内容 须要1.在原始内容里加入系统时间字段 2.按表名取系统时间逆序取前100条入库 30s时间窗口,处理2w条数据；4张表，但打的数据均为1张表的数据 如下我说明的时间都是有数据的表的处理时间（1张表有数据处理，在过其余表时也须要filter表名，须要耗时；因此整体的批处

>>阅读原文<<