如何获取sparkDataframe中每列的空单元格数

sxissh06 于 2021-07-12 发布在 Spark

关注(0)|答案(0)|浏览(152)

我想得到每列的空值，所以我试着

ele_df.where(ele_df['Shipment_ID'].isNotNull()).select('Shipment_ID').show()

但它返回空值，似乎它认为空值是非空值。

+------------------+
|Shipment_ID|
+------------------+
|                  |
|                  |
|                  |
|                  |
|                  |
|                  |
|                  |
|                  |
|                  |
|                  |
|                  |
|                  |
|                  |
|                  |
|                  |
|                  |
|                  |
|                  |
|                  |
|                  |
+------------------+

你们能帮我吗？

DataFrame apache-spark

来源：https://stackoverflow.com/questions/66435521/how-to-get-the-number-of-empty-cells-for-each-column-in-spark-dataframe