Logstash同步Hive和Clickhouse

简介 工做中咱们遇到了把Hive数据同步到Clickhouse的业务需求，一开始咱们写Spark任务，用SparkSQL读Hive，再用JDBC写入到Clickhouse。java 后来，随着要同步的表愈来愈多，每次都写Spark任务，成本就显得有些高了。因而，写了一个通用的Spark任务，指定Hive表、字段，指定Clickhouse表、字段，每次指定不一样的参数。git 再后来，业务愈来愈复杂

>>阅读原文<<