这里有几点：

• 当您使用现有群集运行作业时，会产生更高的成本-自动化群集的成本为15美分/DBU，而交互式群集的成本为56美分/DBU
• 当您使用不同的库等运行作业时，可能会出现库冲突等情况。
• 不能更改现有群集上的标记
• 并发作业可能会影响彼此的性能

所以我建议使用单独的自动集群。如果你想重用节点，并且有更短的启动时间，你可以使用示例池。
如果你想监控资源使用情况等，我建议看看项目Overwatch，它能够从不同的来源收集数据，如集群日志，API等，然后建立统一的性能视图，成本等，其优点之一是，你可以属性成本，资源负载，它不是“经典的”实时监控工具，但已经被许多客户使用。

我不确定我是否完全理解了你的用例，但是你可以使用简单的python代码来获取基于rest API的作业id。

from pyspark.sql.types import IntegerType
from pyspark.sql.types import *
from pyspark.sql import Row
import base64
import requests
import json

databricks_instance ="<databricks-instances>"

url_list = f"{databricks_instance}/api/2.0/jobs/runs/get?run_id=39347"

headers = {
  'Authorization': 'Bearer <databricks-access-token>',
  'Content-Type': 'application/json'
}

response = requests.request("GET", url_list, headers=headers).json()
print(response)
print(response['job_id'])
print(response['start_time'])
print(response['end_time'])