是否可以在spark中加入tempview，因为它正在抛出无法解析的符号错误

1tuwyuhd 于 2021-05-27 发布在 Spark

关注(0)|答案(1)|浏览(359)

我正试图加入3视图在apachespark与scala

df1.createOrReplaceTempView("customer")
finaldf.createOrReplaceTempView("product")
areadf.createOrReplaceTempView("sales")

图书馆：

import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}
import org.apache.spark.sql.functions._

下面的连接视图

val result = customer.join(product, customer("keycol")===product("keycol"))

但不知道为什么它是不承认注册查看任何小姐。。。。请建议
我需要导入任何特定的库吗？

1条答案

不需要导入任何库，一旦我们 create temp view 那我们需要用 SQL api 连接临时视图。 Example: ```
spark.sql("select * from customer c join product p on c.keycol=p.keycol")

//join using dataframe api
df1.join(finaldf, df1("keycol")===finaldf("keycol"))