我想在sql脚本中保存和访问配置单元变量。
我用这个
import org.apache.spark.sql.{Row, SaveMode, SparkSession}
val spark = SparkSession.builder().appName("Project Test1").enableHiveSupport().getOrCreate()
import spark.implicits._
import spark.sql
这样保存变量
sql("""
set testvar='v1'
""")
在scala中使用sparksql时可以访问这个变量
sql("select concat(${testvar},name) from table1 limit 2")
但是,我无法通过sql解释器访问该变量
%sql
select concat(${testvar},name) from table1 limit 2
它以文本字段的形式出现,并且不会用变量值替换键。有办法解决这个问题吗?或者每次我想访问一个配置单元变量时,我都使用scala运行sql脚本??
谢谢您,
暂无答案!
目前还没有任何答案,快来回答吧!