Spark、Hadoop实际操作使用

故事是这样子的：PM说需要将一批线下数据文件（只存放baidu_code），需要通过baidu_code查询数据获取基本信息（V00001）以及股东信息(C00004)，最后拼接成新的数据。 一开始：我想着从数据库直接查询sql语句不就可以了吗？简单的很。 但是我说了我的想法之后被老大果断丢弃掉了（这批数据量很大，而且还的在线上查询，这样对数据库影响很大），于是告诉了我了解一下：hadoop、sp

>>阅读原文<<