如何设计可扩展和可维护的ETL

人们通常会低估ETL设计，并从一个简单的想法开始，然后这个想法逐渐发展为包含其他功能和转换，直到最终变得非常混乱。 用手指交叉睡觉时，IT会头疼，一切都会失败。 这样的ETL看起来像这样： 有一些要求可以帮助维护ETL： 能够重新启动/恢复过程 有关执行历史和问题的结构化信息 外部配置 监控API 轻松恢复故障 为了实现上述所有目标，我们可以遵循一些步骤。 ETL原子性 这只是将我们的ETL分解为

>>阅读原文<<