速速收藏！使用Apache Spark实现ETL 300％的速度提高

当技术团队开始将现有系统和EDH（企业数据中心）集群拼接在一块儿时，一般会采用如下常见的设计模式：将文件转储（一般为CSV格式）按期上传到EDH中，接着进行解压缩，转换为最佳查询格式，而后隐藏在HDFS中，在这里各类EDH组件均可以使用它们。设计模式 当这些文件转储很大或很常常出现时，这些简单的步骤可能会显著减慢数据撷取管道的速度。这种延迟的一部分是不可避免的；因为物理限制因素，跨网络移动大文件是

>>阅读原文<<