“]此时出现意外”,启动pyspark时出错

j2qf4p5b  于 4个月前  发布在  Spark
关注(0)|答案(1)|浏览(63)

我已经在我的系统上安装了pyspark 3.2沿着了jdk 1.8.0我试图从命令提示符启动pyspark,当我收到以下错误

] was unexpected at this time

字符串


的数据
根据一些研究,我知道这可能与我的环境变量有关,PFB是相关变量

JRE_HOME:C:\Java\jre1.8.0_251
JAVA_HOME:C:\Java\jdk1.8.0_251
PYSPARK_DRIVER_PYTHON:C:\Users\<user>\AppData\Local\Programs\Python\Python39\python.exe
PYSPARK_PYTHON:C:\Users\jaisre\AppData\Local\Programs\Python\Python39\python.exe
SPARK_HOME:C:\spark\spark3.2.0binhadoop3.2


我还将以下条目添加到路径变量

C:\Users\jaisre\AppData\Local\Programs\Python\Python39
C:\Users\jaisre\AppData\Local\Programs\Python\Python39\Script
C:\spark\spark3.2.0binhadoop3.2\bin
C:\Java\jdk1.8.0_251\bin


请建议如何解决此问题

2uluyalo

2uluyalo1#

除了Java_Home、Spark_Home和Hadoop_Home环境变量之外,其余变量都不需要设置。如果您查看SPARK_HOME\bin位置的各种脚本(例如:pyspark),则已经编写了逻辑来计算未设置的其余变量路径。交叉验证您设置的路径是否与这些脚本预期的路径匹配。screenshot

相关问题