SparkSQL读取Hive数据插入Redis

（1）背景 目前使用Python读取Hive表，解析转换以后并发插入Redis，使用fetchone方法读取速度较慢，Python转换处理的速度也较慢。因此须要优化插入Redis的流程。java 考虑使用SparkSQL读取数据插入Redis。redis （2）优化思路步骤数据库 1）首先使用collection_list批量处理每一个字段。服务器 测试的时候报错，数据量到达上限的时候，会OOM或

>>阅读原文<<