Hive、MapReduce、Spark分布式生成唯一数值型ID

在实际业务场景下，经常会遇到在Hive、MapReduce、Spark中需要生成唯一的数值型ID。 一般常用的做法有： MapReduce中使用1个Reduce来生成； Hive中使用row_number分析函数来生成，其实也是1个Reduce； 借助HBase或Redis或Zookeeper等其它框架的计数器来生成； 数据量不大的情况下，可以直接使用1和2方法来生成，但如果数据量巨大，1个Red

>>阅读原文<<