普罗米修斯spark 3.0流媒体指标

kh212irz  于 2021-05-19  发布在  Spark
关注(0)|答案(0)|浏览(364)

我正在kubernetes上运行spark3.0应用程序(sparkstructuredstreaming),并尝试使用新的原生prometheus metric sink。我能够让它工作,并得到这里描述的所有指标。
但是,我真正需要的度量是在启用以下配置时提供的:spark.sql.streaming.metricsenabled,正如本spark summit演示中所建议的那样。现在,即使将配置设置为“true”,我也看不到任何流媒体度量 /metrics/executors/prometheus 如广告所示。有一件事需要注意的是,我可以看到他们在下面 metrics/json ,因此,我们知道配置已正确应用。
为什么不把数据流传送到普罗米修斯的Flume里?我需要添加一些额外的配置吗?还不支持吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题