如何使用bmc control-m调度hadoop作业?

cfh9epnr  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(383)

有人知道如何使用bmc control-m软件控制/调度hadoop作业吗?有可能吗?
我试过ooozie,想探索更多的hadoop作业调度选项。
请开导!

smtd7mpg

smtd7mpg1#

答案是肯定的。
这个答案会变得更好。
今天,您可以使用各种hadoop组件提供的丰富的命令行接口。然后,您可以将这些cli作为命令单独运行,或者将它们组合到直接嵌入control-m作业中的脚本中,或者封装在shell脚本中(bash是一种流行的脚本),并使用control-m进行调度。我提供了一个示例脚本,它执行一些hdfs操作,然后运行mapreduce作业。
更好的部分将在几个月后发布,届时我们将发布对hadoop的集成支持。届时(我假设您熟悉bmc control-m),我们将提供类似于其他cms的图形形式,用于定义各种作业类型(pig、hive、mapreduce都在考虑中,但我不确定实际将实现什么)、状态监视的集成支持、作业输出的检索等。
我们已经听到许多客户使用control-m来管理他们的hadoop环境。
除了运行hadoop作业的“机制”之外,还可以获得control-m管理图形流的功能、与各种平台和应用程序的集成、管理服务级别、预测、审核、报告等功能。
我很高兴与您进一步讨论这一点,特别是因为我们仍处于这项工作的早期阶段,我们希望了解您在这方面的要求。请给我寄张便条joe_goldberg@bmc.com 我很乐意安排一个电话会议或演示。


# !/bin/csh

# 

cd /h/gron/java/hadoop/hadoop-1.0.3
bin/hadoop dfs -rmr  output_$UUID 'dfs[a-z.]+'
bin/hadoop  jar  hadoop-examples-1.0.3.jar  grep input output_$UUID 'dfs[a-z.]+'

相关问题