修改中间层代理以添加动态更改的自定义资源

pw136qt2  于 2021-06-26  发布在  Mesos
关注(0)|答案(1)|浏览(231)

我正在开发一个新的mesos-slurm框架,其中来自mesos外部的作业也可以推送到slurm队列。
更新以更好地解释问题:mesos代理在同一台计算机上安装了slurm工作负载管理器,该计算机在hpc中协调作业。此slurm可以从mesos执行器接收作业,也可以从其他方法接收作业(例如,第三方用户通过ssh直接向slurm发送作业)。
因此,我希望代理能够在向mesos发送报价之前知道slurm队列的状态(正在运行和等待运行的作业数),并相应地提供资源。这不能仅仅通过了解执行者接受的任务来实现,因为hpc的其他资源可能已经被直接使用slurm的第三方用户占用。
换句话说,我想做的是定制代理知道可提供的资源的方式,以考虑slurm队列的当前状态。
更新2个图表来说明情况:

如图中所示,代理创建报价(红色)的方式是我想要定制的,因此代理在生成报价之前会考虑slurm的状态(这可以由executor或代理读取)。
这可能吗?如果是积极的,如何实现?
提前谢谢。

5m1hhzi4

5m1hhzi41#

我认为这个设计是错误的。如果您允许在没有mesos控制的情况下启动作业,您将失去对资源的控制。
如果您可以准备一个简单的框架,将用户的请求代理给mesos:您可以使用自定义资源并在offers中获取当前状态。
如果你不能改变你的设计,你需要在mesos之外开始一些工作:你可以使用超订阅机制和定制资源相结合。然后,您的qos将根据当前使用情况更新资源,并在offer中获得使用情况。

相关问题