如何在本地模式下向同一spark会话提交2个python(pyspark)脚本

lskq00tm  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(458)

我在本地模式下在1个ec2示例上运行spark3.0。我想今天能够在并行的2个作业中运行多个python脚本,以便提供对我使用的spark会话的访问-

spark = SparkSession.builder.appName(app_name) \
    .config("spark.jars.packages", "io.delta:delta-core_2.12:0.7.0") \
    .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
    .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \
    .getOrCreate()

但是在ec2上,我看到2个spark进程正在运行,打开了2个ui(4040/4041端口),最重要的是这2个脚本不能使用在hive metastore derby上运行的spark.catalog。
这两个作业如何共享同一个spark会话?

qyyhg6bp

qyyhg6bp1#

可以使用hivederbyservermode,链接中的指令非常清晰,可以正常工作
https://cwiki.apache.org/confluence/display/hive/hivederbyservermode

相关问题