Spark-再接着上次的Lamda架构

日志分析 单机日志分析，适用于小数据量的。（最大10G），awk/grep/sort/join等都是日志分析的利器。 例子： 一、shell获得Nginx日志中访问量最高的前十个IPpython cat access.log.10 | awk '(a[$1]++) END (for(b in a) print b"\t"a[b])' | sort -k2 -r | head -n 10 二、pyt

>>阅读原文<<