我有一个奇怪的环境问题。我有两个康达环境 base 以及 rnn . 当我输入时 pyspark --master yarn 当你在 base 环境下，交互式shell成功出现，我可以使用yarn web ui查看pyspark shell是否已提交给yarn。
但是，当我输入 source activate rnn 然后是 pyspark --master yarn ，我看到抛出了以下异常。
线程“main”java.lang.exception中的异常：使用主“yarn”运行时，必须在环境中设置hadoop\u conf\u dir或yarn\u conf\u dir。在org.apache.spark.deploy.sparksubmitarguments.validatesubmitarguments（sparksubmitarguments）上。scala:286)在org.apache.spark.deploy.sparksubmitarguments.validatearguments（sparksubmitarguments）上。scala:246)在org.apache.spark.deploy.sparksubmitarguments。scala:119)在org.apache.spark.deploy.sparksubmit$.main（sparksubmit。scala:129)位于org.apache.spark.deploy.sparksubmit.main（sparksubmit.scala）
如果切换回 base conda环境，并键入 printenv ，我也看不到hadoop\u conf\u dir或yarn\u conf\u dir。我不明白这些环境变量是在哪里或如何设置的，以及为什么从一个conda环境切换到另一个conda环境会导致上述异常。有什么办法解决这个问题吗？