我们在RHEL7机器中安装了ClouderaCDH6.2，该机器附带了默认的Python2.7。在spark作业的虚拟环境中使用python3.7。具有--master local和--deploy模式客户端的客户端模式工作正常。但是，在主Yarn和部署模式集群方面存在问题。
此命令 spark-submit --master yarn --deploy-mode cluster --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=/home/user/R1_I5/bin/python --conf spark.yarn.appMasterEnv.SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark --conf spark.executorEnv.SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark sample.py 失败，错误少于2个
案例1错误日志：--部署模式群集 Cannot run program "/home/user/R1_I5/bin/python": error=13, Permission denied 详细日志：https://drive.google.com/file/d/1j7hlngabnstj91ishfbmdne5oleuqz6b/view
案例2错误日志：--主Yarn
下面两行重复，程序没有终止
INFO yarn.Client: Application report for application_1594339922772_0012 (state: ACCEPTED)
INFO yarn.SparkRackResolver: Got an error when resolving hostNames. Falling back to /default-rack for all
1条答案
按热度按时间8qgya5xd1#
您需要检查目录的权限“hdfs://dwh：8020/user//.sparkstaging/application\u 1594339922772\u 0011“并查看运行程序的用户，对其具有访问权限。正确的方法是在“username”下创建一个“username”目录hdfs://dwh：8020/user/username并运行它。
检查主计算机的主机名，这里的问题是它试图连接到配置中提到的主计算机，但找不到它。你可以打字。转到cloudera管理器并使用redeploy config选项，同时检查/etc/hosts并查看它是否与cloudera管理器中提到的主机名匹配。