spark大数据分析实战案列1学习 （lamda架构日志分析流水线）

日志实例格式 当数据量较小(10MB,100MB,10GB)可以通过Shell Python单机解决 Linux Shell命令 :  cat access.log.10 |awk '{a[$1]++} END {for(b in a) print b"\t"a[b]} '| sort -k2 -r |head -n 10    日志分析指标：     1：PV     2：U

>>阅读原文<<