可以连接到本地主机，但不能连接到远程，pyspark

mzmfm0qo 于 2021-05-17 发布在 Spark

关注(0)|答案(0)|浏览(233)

我试着从 anaconda 文件：

from pyspark import SparkConf
from pyspark import SparkContext
import findspark
findspark.init('/home/Snow/anaconda3/lib/python3.8/site-packages/pyspark')

conf = SparkConf()
conf.setMaster('local[*]')
conf.setAppName('spark')
sc = SparkContext(conf=conf)

def mod(x):
    import numpy as np
    return (x, np.mod(x, 2))

rdd = sc.parallelize(range(1000)).map(mod).take(10)

在本地，脚本运行良好，没有错误。当我换线的时候 conf.setMaster('local[*]') 至 conf.setMaster('spark://remote_ip:7077') 我得到一个错误：
py4jjavaerror:调用none.org.apache.spark.api.java.javasparkcontext时出错：java.lang.illegalargumentexception:需求失败：只能在scala.predef$.require（predef）处运行的metricssystem上调用getservlethandlers。scala:281)
为什么会这样？我还补充道 SPARK_MASTER_HOST=remote_ip 以及 SPARK_MASTER_PORT=7077 至 ~/anaconda3/lib/python3.8/site-packages/pyspark/bin/load_spark_env.sh .
我的spark版本是 3.0.1 服务器是 3.0.0 我可以打电话 remote_ip .