spark submit在本地hadoopYarn设置中失败,stdout路径必须是绝对错误

5gfr0r5j  于 2021-07-15  发布在  Hadoop
关注(0)|答案(1)|浏览(325)

我已经在我的windows机器上安装了最新的hadoop和spark版本。我试图启动其中一个提供的例子,但它失败了,我不知道诊断意味着什么。好像和毒药有关,但我找不出根本原因。
我启动以下命令:

spark-submit --master yarn --class org.apache.spark.examples.JavaSparkPi C:\spark-3.0.1-bin-hadoop3.2\examples\jars\spark-examples_2.12-3.0.1.jar 100

我有个例外:
21/01/25 10:53:53警告metricssystem:停止未运行的metricssystem 21/01/25 10:53:53信息outputcommitcoordinator$outputcommitcoordinatorendpoint:outputcommitcoordinator已停止!21/01/25 10:53:53信息sparkcontext:已成功停止线程“main”org.apache.spark.sparkexception中的sparkcontext异常:由于appattempt的am容器,应用程序\u 1611568137841 \u 0002 \u000002失败2次,退出代码为:-1,尝试失败。诊断:[2021-01-25 10:53:53.381]标准输出路径必须是绝对的
有关更详细的输出,请查看应用程序跟踪页面:http://x-pc:8088/cluster/app/application\u 1611568137841\u 0002然后单击指向每次尝试日志的链接。应用程序失败。位于org.apache.spark.scheduler.cluster.yarclientschedulerbackend.waitforapplication(yarclientschedulerbackend。scala:95)在org.apache.spark.scheduler.cluster.yarclientSchedulerBackend.start(yarclientSchedulerBackend。scala:62)在org.apache.spark.scheduler.taskschedulerimpl.start(taskschedulerimpl。scala:201)在org.apache.spark.sparkcontext.(sparkcontext。scala:555)在org.apache.spark.sparkcontext$.getorcreate(sparkcontext。scala:2574)在org.apache.spark.sql.sparksession$builder.$anonfun$getorcreate$2(sparksession。scala:934)在scala.option.getorelse(option。scala:189)在org.apache.spark.sql.sparksession$builder.getorcreate(sparksession。scala:928)在org.apache.spark.examples.javasparkpi.main(javasparkpi。java:37)在sun.reflect.nativemethodaccessorimpl.invoke0(本机方法)在sun.reflect.nativemethodaccessorimpl.invoke(nativemethodaccessorimpl)。java:62)在sun.reflect.delegatingmethodaccessorimpl.invoke(delegatingmethodaccessorimpl。java:43)在java.lang.reflect.method.invoke(方法。java:498) 在org.apache.spark.deploy.javamainapplication.start(sparkapplication。scala:52)在org.apache.spark.deploy.sparksubmit.org$apache$spark$deploy$sparksubmit$$runmain(sparksubmit)。scala:928)在org.apache.spark.deploy.sparksubmit.dorunmain$1(sparksubmit。scala:180)在org.apache.spark.deploy.sparksubmit.submit(sparksubmit。scala:203)在org.apache.spark.deploy.sparksubmit.dosubmit(sparksubmit。scala:90)在org.apache.spark.deploy.sparksubmit$$anon$2.dosubmit(sparksubmit。scala:1007)位于org.apache.spark.deploy.sparksubmit$.main(sparksubmit.com)。scala:1016)在org.apache.spark.deploy.sparksubmit.main(sparksubmit.scala)21/01/25 10:53:53 info shutdownhokmanager:shutdownhokcalled21/01/25 10:53:53信息关闭挂钩管理器:删除目录c:\users\appdata\local\temp\spark-b28ecb32-5e3f-4d6a-973a-c03a7aae0da9 21/01/25 10:53:53信息关闭挂钩管理器:删除目录c:\users/\appdata\local\temp\spark-3665ba77-d2aa-424a-9f75-e772bb5b9104
至于诊断:
诊断:
应用程序应用程序\u 1611562870926 \u 0004失败2次,原因是appattempt的am容器\u 1611562870926 \u 0004 \u000002退出,退出代码为:-1,尝试失败。诊断:[2021-01-25 10:29:19.734]标准输出路径必须是绝对路径,才能获得更详细的输出,检查应用程序跟踪页面:http://****-pc:8088/cluster/app/application\u 1611562870926\u 0004,然后单击指向每次尝试日志的链接。应用程序失败。
谢谢您!

azpvetkf

azpvetkf1#

所以我还不确定根本原因,可能是因为我在windows下运行,一些默认属性对yarn是错误的。当我在yarn-site.xml上添加以下两个属性时,效果很好:

<property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/tmp</value>
   </property>
   <property>
    <name>yarn.log.dir</name>
    <value>/tmp</value>
   </property>

希望对将来的人有帮助!

相关问题