Apache Spark 运行多个Databricks计划的作业会对运行这些作业的群集的性能产生什么影响?

2g32fytz  于 2023-03-19  发布在  Apache
关注(0)|答案(1)|浏览(82)

我的疑问是,计划同时运行多台笔记本电脑是否会以任何方式影响任何给定笔记本电脑计划作业的整体性能?此外,在运行这些多个计划作业时,是否也会影响群集的整体性能?
到目前为止,我有大约20个计划作业,每个作业需要1 - 3分钟,它们都计划在同一时间运行。然而,这个数字在未来几个月会急剧增加,最好提前知道这是否会影响集群的性能。如果会,将这些作业安排在不同的时间是否有助于改善这个问题?

tjvv9vkg

tjvv9vkg1#

如果你在同一个交互集群上运行所有这些作业,将会对性能产生影响。但无论如何,这是一个不好的做法,所以建议在单独的作业集群上运行它们--这样会更便宜。如果你担心启动时间,那么看看instance pools,运行作业时相互之间有一些偏移。

相关问题