如何知道执行pysaprk代码需要多长时间

k4ymrczo  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(288)

有没有办法知道一个代码需要多长时间才能完成?或者近似值
我在想,当你在windows中处理一个文件时,它会告诉你还剩多少时间,或者当你下载一些东西时,它会告诉你大约需要多少时间
有没有一种方法可以为Spark代码这样做?从非常简单的查询,到更复杂的代码
谢谢

dxxyhpgq

dxxyhpgq1#

spark自己也考虑过实现这一点,但由于在预测掉队者的完成时间方面存在不确定性,因此决定不这么做。参见本期spark的讨论https://issues.apache.org/jira/browse/spark-5216
所以你不会从spark那里得到这些信息。相反,您必须实现自己的估算模型。

相关问题