如何解析-找不到数据源org.apache.hadoop.hbase.spark

omhiaaxx  于 2021-07-13  发布在  Spark
关注(0)|答案(0)|浏览(239)

我已经写了一个基本的pyspark代码,并试图连接到hbase进行数据读写。似乎代码告诉我们找不到数据源 org.apache.hadoop.hbase.spark .
当我将包作为如下参数提供时: spark-submit testpyspark.py --packages com.hortonworks:shc-core:1.1.1-2.1-s_2.11 --repositories http://repo.hortonworks.com/content/groups/public/ 它仍然给我带来了一个例外: java.lang.ClassNotFoundException: Failed to find data source: org.apache.hadoop.hbase.spark. Please find packages at http://spark.apache.org/third-party-projects.html 如何调试此问题?
以下是Pypark代码:

from pyspark import SparkContext, SparkConf, SQLContext
conf = SparkConf().setAppName("App").setMaster("local")
sc = SparkContext(conf=conf)
sqlContext = SQLContext(sc)

df = sqlContext.read.format('org.apache.hadoop.hbase.spark') \
    .option('hbase.table','books') \
    .option('hbase.columns.mapping', \
            'title STRING :key, \
            author STRING info:author, \
            year STRING info:year, \
            views STRING analytics:views') \
    .option('hbase.use.hbase.context', False) \
    .option('hbase.config.resources', 'file:///etc/hbase/conf/hbase-site.xml') \
    .option('hbase-push.down.column.filter', False) \
    .load()

df.show()

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题