什么导致spark驱动程序maxresultsize限制？

x3naxklr 于 2021-07-09 发布在 Spark

关注(0)|答案(0)|浏览(220)

在我的spark工作中，结果以几kbs的速度发送给驱动程序。尽管如此，我还是得到了下面的例外 spark.driver.maxResultSize 设置为4 gbs：

ERROR TaskSetManager: Total size of serialized results of 3021102 tasks (4.0 GB) is bigger than spark.driver.maxResultSize (4.0 GB)

Spark蓄能器或其他任何东西是否有助于内存的使用 spark.driver.maxResultSize ? 是否有官方文档/代码可供我参考以了解更多信息？
有关代码/执行的更多详细信息：
有300万个任务
每个任务从s3读取50个文件，并在转换后将它们重新写入s3
任务返回s3文件的前缀以及一些元数据，这些元数据在驱动程序中收集以保存到文件中。此数据小于50 mbs

apache-spark databricks azure-databricks Memory

来源：https://stackoverflow.com/questions/66874707/what-contributes-to-spark-driver-maxresultsize-limits