hadoop—oozie协调器如何对底层工作流更改做出React?

wgxvkvu9  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(265)

我有一个关于ApacheOozie的问题,特别是关于cdh发行版的问题。
当协调器使用的工作流被修改时,协调器会发生什么情况?例如,工作流现在使用一个由变量自动填充的额外参数。这在理论上不需要对协调器进行任何更改。正在运行的协调器是否仍然使用初始工作流的配置,或者是否动态地适应新的工作流。如果他们仍然使用旧的配置,那么我需要定义一个新的协调器还是重新提交同一个协调器就足够了?

cvxl0en2

cvxl0en21#

它是这样工作的:每个提交的协调器都有一组固定的变量和参数(配置文件)。-change选项允许您更改协调器的以下属性:
endtime:协调器作业的结束时间。
并发性:协调器作业的并发性。
pausetime:协调器作业的暂停时间。
除了协调器名称、频率、开始时间、结束时间和时区之外的所有内容都可以使用-update选项进行更改。有关详细信息,请参阅官方文件:
http://oozie.apache.org/docs/4.3.0/dg_commandlinetool.html#updating_coordinator_definition_and_properties
在配置文件中,您通常指向hdfs中的协调器文件,然后该文件指向hdfs中的工作流文件。如果您在hdfs中更改了其中任何一个,那么下次协调器触发时,它将使用新的/修改过的文件。这同样适用于工作流操作中使用的所有文件,例如shell脚本、jar文件。。。

相关问题