spark 1.6.token只能通过kerberos或web身份验证发布

ac1kyiln  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(434)

我在shell驱动程序脚本中spark提交之前调用kinit keytab。问题是,它自己工作,但是当我通过oozie调用shell驱动程序scrip时,我得到了一个错误:

Stdoutput py4j.protocol.Py4JJavaError: An error occurred while calling 
o49.saveAsTextFile.
Stdoutput : org.apache.hadoop.ipc.RemoteException(java.io.IOException): 
Delegation Token can be issued only with kerberos or web authentication

问题可能就在这里

file.coalesce(1,True).saveAsTextFile(FQDNofHadoop+output)

编辑:在我的脚本中是:kinit-k-t/home/me/me.keytabme@domain.had
编辑:工作方案:
我曾经

spark-submit --principal 'me@DOMAIN.HAD' \ --keytab '/home/me/me.keytab' \

在oozie中执行pyspark脚本时没有出错(甚至写入hive表等等)。log4j logger不起作用(独立脚本起作用),但至少print()(stdout into yarn logs)是的。。。
谢谢

ippsafx7

ippsafx71#

我用过——校长的名字me@domain.had'--keytab'/home/me/me.keytab'\和pyspark脚本的执行没有出错(甚至写入配置单元表等等)。记录器不工作,但至少print()是的。。。

相关问题