我有一个hadoop集群，不同的进程可以向这个集群提交mapreduce作业（它们都使用相同的用户帐户）。有没有办法区分这些工作？某种描述，在提交时可以添加到作业中，例如“这是一个处理“1234”的作业，请勿触摸”？我使用的是python和hadoopstreaming，并想用simple来区分作业 hadoop job -list （或者至少使用web管理界面）。
hadoop job -list
irlmq6kh1#
对于交叉兼容的解决方案，可以始终使用 mapred.job.name 指定你的工作名称，这样你就可以很容易地用 hadoop job -list 后来。在hadoop流媒体的情况下，应该如下所示：
mapred.job.name
hadoop jar $HADOOP_STREAMING_JAR -Dmapred.job.name='something' -mapper mapper.py -reducer reducer.py -input /path/to/input -output /path/to/output
ia2d9nvy2#
是的，可以使用为每个作业指定名称 job.setJobName(String) .如果你要把工作名称设置为有区别的名称，你应该能够把它们区分开来。例如，通过使用 ManagementFactory.getRuntimeMXBean().getName() 您可以以 1234@localhost ，在哪里 1234 是进程id，可以将其设置为作业名称以区分它们。
job.setJobName(String)
ManagementFactory.getRuntimeMXBean().getName()
1234@localhost
1234
2条答案
按热度按时间irlmq6kh1#
对于交叉兼容的解决方案，可以始终使用
mapred.job.name指定你的工作名称，这样你就可以很容易地用hadoop job -list后来。在hadoop流媒体的情况下，应该如下所示：
ia2d9nvy2#
是的，可以使用为每个作业指定名称
job.setJobName(String).如果你要把工作名称设置为有区别的名称，你应该能够把它们区分开来。
例如，通过使用
ManagementFactory.getRuntimeMXBean().getName()您可以以1234@localhost，在哪里1234是进程id，可以将其设置为作业名称以区分它们。