使用AWS Glue进行 ETL 工作

数据湖 数据湖的产生是为了存储各种各样原始数据的大型仓库。这些数据根据需求，进行存取、处理、分析等。对于存储部分来说，开源版本常见的就是 hdfs。而各大云厂商也提供了各自的存储服务，如 Amazon S3，Azure Blob 等。 而由于数据湖中存储的数据全部为原始数据，一般需要对数据做ETL（Extract-Transform-Load）。对于大型数据集，常用的框架是 Spark、pyspa

>>阅读原文<<