无法使用oozie部署spark作业

mzaanser 于 2021-05-29 发布在 Hadoop

关注(0)|答案(2)|浏览(311)

我需要保持一个Spark工作运行24/7，为此，我使用oozie。为此，我编写了一个workflow.xml和 job.properties 文件，包含调用它所需的信息。
但是，当我尝试使用以下命令发送oozie作业时：

oozie job –config /home/oozie/tst/job.properties -run

我得到以下错误信息，非常清楚：

java.io.IOException: configuration is not specified
        at org.apache.oozie.cli.OozieCLI.getConfiguration(OozieCLI.java:816)
        at org.apache.oozie.cli.OozieCLI.jobCommand(OozieCLI.java:1055)
        at org.apache.oozie.cli.OozieCLI.processCommand(OozieCLI.java:686)
        at org.apache.oozie.cli.OozieCLI.run(OozieCLI.java:639)
        at org.apache.oozie.cli.OozieCLI.main(OozieCLI.java:225)
configuration is not specified

这里的问题是配置文件( job.properties )在指定的路径上本地存在。我还将包含文件和.jar的目录放在hdfs中。
你知道为什么会失败吗？
oozie是我完成这项任务的最佳工具吗？

hadoop oozie apache-spark

来源：https://stackoverflow.com/questions/40611178/unable-to-deploy-spark-jobs-using-oozie

2条答案

按热度按时间

9avjhtql1#

在命令中指定主机

oozie job --oozie http://your_host:11000/oozie -config /home/oozie/tst/job.properties -run

11000是迪富尔特港

赞(0）回复(0）举报 2021-05-29

pvabu6sv2#

config参数采用本地路径而不是hdfs。检查中存在的job.properties /home/oozie/tst/job.properties 检查job.properties是否包含 oozie.wf.application.path=PATH_TO_HDFS_PATH_WHERE_WORKFLOW.XML_IS_PRESENT 另外，我看到config参数中的破折号（-）与run参数中的破折号（-）不同

赞(0）回复(0）举报 2021-05-29

我来回答

无法使用oozie部署spark作业

2条答案

相关问题

热门标签

最新问答