sql – 为什么过滤器在spark数据帧上默认删除空值？

2023年1月17日 191次阅读

对包含空值的基本
scala集合进行过滤具有以下(并且非常直观)行为：

scala> List("a", "b", null).filter(_ != "a")
res0: List[String] = List(b, null)

但是,我很惊讶地发现以下过滤器删除了spark数据帧中的空值：

scala> val df = List(("a", null), ( "c", "d")).toDF("A", "B")
scala> df.show
+---+----+
|  A|   B|
+---+----+
|  a|null|
|  c|   d|
+---+----+
scala> df.filter('B =!= "d").show
+---+---+
|  A|  B|
+---+---+
+---+---+

如果我想保留空值,我应该添加

df.filter('B =!= "d" || 'B.isNull).show
+---+----+
|  A|   B|
+---+----+
|  a|null|
+---+----+

就个人而言,我认为默认情况下删除空值非常容易出错.
为什么选择这个？为什么在api文档中没有明确说明？我错过了什么吗？

最佳答案 这是因为SQL的标准不是空安全的 – 所以Spark SQL遵循这个(但不是Scala).

Spark数据帧具有null安全相等性

scala> df.filter($"B" <=> null).show
+---+----+
|  A|   B|
+---+----+
|  a|null|
+---+----+


scala> df.filter(not($"B" <=> "d")).show
+---+----+
|  A|   B|
+---+----+
|  a|null|
+---+----+

编辑时注意：默认情况下,不安全的点是允许测试结果为null.缺失值是否等于“c”？我们不知道.缺失值是否等于另一个缺失值？我们也不知道.但在过滤器中,null为false.

点赞