Spark 经常使用案例

数据过滤清洗数据 //textFile() 加载数据 val data = sc.textFile("/spark/seven.txt") //filter 过滤长度小于0， 过滤不包含GET与POST的URL val filtered = data.filter(_.length() > 0).filter(line => (line.indexOf("GET") >

>>阅读原文<<