在Scala中，Double类型的空值保存为NaN，其余保存为null。对于Double能够直接使用：bianliang.isNaN判断其是不是空值，那么在一个多行多列的DataSet或者DataFrame中怎么进行处理呢。sql
1、几种查找空值的方法
一、Column方法
column.isNull/column.isNotNull/column.isNaN
- df("col1").isNull
- df.filter(df("col1").isNull)就能够获取全部col1列为空值的行了。
- //获取col1字段全部空列
- df.filter(df("col1").isNull).count()
- df.filter(df("col1").isNotNull).count()
二、类sql方法
- //获取col1字段全部空列
- data1.filter("col1 is null").select("col1").limit(10).show
- //获取col1字段的全部非空列
- data1.filter("col1 is not null").select("col1").limit(10).show
- data1.filter("col1 <>''").select("col1").limit(10).show
2、na方法
- val naDF:DataFrameNaFunctions=df.na
调用na方法会返回一个DataFrameNaFunctions。其只有3个方法，drop、fill、replace。spa
2.1 na.drop方法
2.1.1 删除全部列的空值以及NaN
- val resNull=df.na.drop()
返回一个新DF，剔除了包含空值的行。blog
2.1.2 删除某一列的空值和NaN
- val res =df.na.drop(Array("col1","col2"))
2.1.3 删除某一列的非空非NaN可是值低于10的。
- df.na.drop(10,Array("col1","col2"))
2.2 na.fill方法
2.2.1 填充全部空值的列
- val res123=df.na.fill("新值")
- val res123=df.na.fill(10)
2.2.2 对指定的空值进行填充
传入一个值，以及全部须要用此值填充的Array，或者使用Map，按照列进行不一样填充。it
- val res2=data1.na.fill(value="wangxiao111",cols=Array("gender","yearsmarried") )
- val res3=data1.na.fill(Map("gender"->"wangxiao222","yearsmarried"->"wangxiao567") )
2.3 na.replace方法
2.3.1 将指定列的指定值替换为对应的值
- df.na.replace("col1",Map(1->2)) //将col1列的值为1替换为2.
- df.na.replace(Array("col1","col2"),Map(1->2))
- df.na.replace[Int]("col1",Map(1->2))//能够添加泛型，Map中的key和value类型必须与其保持一致。