kill job\u id和yarn application-kill application\u id有什么区别

oewdyzsn  于 2021-06-02  发布在  Hadoop
关注(0)|答案(3)|浏览(477)

两者有什么区别 hadoop job -kill job_id 以及 yarn application -kill application_id ? 作业id和应用程序id是否表示/引用同一任务?

o2gm4chl

o2gm4chl1#

hadoop job -kill job_id 以及 yarn application -kill application_id 这两个命令都用于终止在hadoop上运行的作业。
如果您使用的是mapreduceversion1(mrv1),并且希望终止在hadoop上运行的作业,那么可以使用 hadoop job -kill job_id 终止一个作业,它将终止所有作业(运行和排队)。
在mapreduce版本2中(mr v2或yarn),当您提交mapreduce作业时,它将通过应用程序主控程序进行处理,从而处理名为application的作业。应用程序中可能有多个任务正在运行。如果您想终止一个应用程序,那么您可以使用 yarn application -kill application_id 命令终止应用程序。它将杀死应用程序下所有正在运行和排队的作业。
如果你想在Yarn中杀死一个任务,那么你可以使用 hadoop job -kill-task <task-id> 干掉一个特定的任务
此链接将有助于了解在Yarn中的应用和工作。

rta7y2nd

rta7y2nd2#

application\u id是与应用程序主机关联的id。除了id前面的前缀application\和job\之外,这两个id是一个相同的(将具有相同的id值)。
两者仅代表同一工作!!

3phpmpom

3phpmpom3#

如果您使用kill命令的yarn版本,资源管理器会在am不知情的情况下终止am,因此它不会生成历史记录。如果您使用hadoop job-kill job \u id,那么killing过程将通过am,它将允许生成历史记录

相关问题