pyspark的配置单元查询

up9lanfz  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(256)

我想使用以下代码从pyspark连接到配置单元:

from pyspark import SparkContext, SparkConf
from pyspark.conf import SparkConf
from pyspark.sql import SparkSession, HiveContext

sparkSession = (SparkSession
                .builder
                .master('spark://spark_host:7077')
                .appName('example-pyspark-read-and-write-from-hive')
                .config("spark.sql.warehouse.dir", "hdfs://spark_host:9000/user/hive/warehouse", conf=SparkConf())
                .enableHiveSupport()
                .getOrCreate()
               )

输出:

raise QueryExecutionException(s.split(': ', 1)[1], stackTrace)
     78             if s.startswith('java.lang.IllegalArgumentException: '):
---> 79                 raise IllegalArgumentException(s.split(': ', 1)[1], stackTrace)
     80             raise
     81     return deco

IllegalArgumentException: "Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder':"

我其他的尝试都失败了。请帮助我配置pyspark和hive以正常工作。
spark版本-2.4.5 hive版本-3.1.2

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题