python3.x—我想获取pysparkDataframe中列的最小值

b5buobof 于 2021-05-29 发布在 Spark

关注(0)|答案(2)|浏览(312)

我想用compare\u at\u price的最小值创建一个新列。如果数据包含值，我们可以通过 sumList1 = udf(lambda c: min(c), IntegerType()) . 但是我在Dataframe的某些行中使用逗号。

+--------------------+

|    compare_at_price|

+--------------------+

|               [,,,]|

|                  []|

|               [,,,]|

|[89.95, 89.95, 89.95|

|                  []|

|                  []|

你能帮我解决吗！

DataFrame apache-spark pyspark apache-spark-sql python-3.x

来源：https://stackoverflow.com/questions/62401794/i-want-to-get-min-value-of-the-column-in-pyspark-dataframe

2条答案

按热度按时间

chhqkbe11#

首次导入

import org.apache.spark.sql.functions.{min, max}

然后，

df.agg(min("compare_at_price")).show()

赞(0）回复(0）举报 2021-05-29

k5ifujac2#

您可以通过以下方式找到arraytype列的最小值：

from pyspark.sql.functions import col,array_min

resultDF = df.select(array_min(col("compare_at_price")).alias('min_price'))

resultDF.show(False)

赞(0）回复(0）举报 2021-05-29

我来回答

python3.x—我想获取pysparkDataframe中列的最小值

2条答案

相关问题

热门标签

最新问答