如何强制spark应用程序使用mesos中动态保留的资源

cyej8jka  于 2021-06-26  发布在  Mesos
关注(0)|答案(1)|浏览(271)

我在mesos中通过使用操作符httpapi使用动态资源预留。我在某个特定角色(例如role-1)的一些从属服务器中保留资源。现在,我想使用只属于role-1的资源启动spark应用程序。然而,由于spark是一个贪婪的框架,它接受所有提供的资源,所以它在我的从属服务器中使用无保留的资源。因此,role-1中的保留资源不能被其他应用程序使用。如何严格强制spark应用程序只使用保留的资源?

ct2axkht

ct2axkht1#

你可以用 spark.mesos.role (见https://spark.apache.org/docs/latest/running-on-mesos.html#configuration)

相关问题