Spark实战经验

一、背景 由于公司的老集群对于现有的开发工作者来说并不是特别的友好，数据模型也不是特别适用。所以为了让使用者更友好、数据更可靠，建立新集群、构建数仓，新集群搭建到使用，基于spark引擎自己构建ETL框架，在大量数据下，期间难免会遇到各种各样的问题。于是找几个踩过的比较经典的坑来说一下。 二、采坑过程 个人感觉单纯开发SparkStreaming的过程不叫经验，所以直接略过，来到测试环节，Spar

>>阅读原文<<