HyperLogLog函数在Spark中的高级应用

大数据技术与架构 点击右侧关注，大数据开发领域最强公众号！ 预聚合是高性能分析中的常用技术，例如，每小时100亿条的网站访问数据可以通过对常用的查询纬度进行聚合，被降低到1000万条访问统计，这样就能降低1000倍的数据处理量，从而在查询时大幅减少计算量，提升响应速度。更高层的聚合可以带来进一步的性能提升，例如，在时间维按天聚合，或者通过站点而不是URL聚合。 本文，我们将介绍 spark-alc

>>阅读原文<<