spark-group by multiple columns与group by a id created from the same multiple columns

ljsrvy3e  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(221)

从多个列中创建一个id,然后创建一个group by是一个好主意吗?也许按一列(id)分组数据更有效?
例子:

my_dataframe = my_dataframe \
  .withColumn("my_key", F.concat(F.col("column1"),
                                 F.col("column2"),
                                 F.col("column3"))) \
  .groupBy(F.col("my_key")) \
  .agg(...)

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题