我在databricks环境(spark3.0.1)上运行,试图通过调用 spark.write
方法,如文档中所述。通过url,我可以通过安装presto jar并编写以下代码来查询presto中的现有表:
spark.read.format("jdbc")
.option("url", "jdbc:presto://<host>:<port>/")
.option("dbtable", "my_schema.my_table)")
.option("user", "user")
.option("driver", "com.facebook.presto.jdbc.PrestoDriver")
.load()
当我尝试使用相同的方法将sparkDataframe写入presto并尝试创建新的表/模式时,问题就来了,因为它不能引用我的数据实际所在的位置(azuredls2)。
我看到了两个可行的解决方案,但我不确定如何实施它们:
在sparksession定义中连接到我的presto的hive元存储
(如果可能的话,更简单)在spark.sql查询中使用presto ddl,并从中“create table mytable”。
有什么想法吗?
暂无答案!
目前还没有任何答案,快来回答吧!