如何使用spark执行sql脚本

t8e9dugd  于 2021-07-14  发布在  Spark
关注(0)|答案(1)|浏览(465)

我想在spark中创建一个数据库,为此,我编写了一些sql脚本来创建sql表。我的问题是,如何将sql表(数据库)集成到spark中以供以后处理?这可以通过scala脚本或者spark控制台来实现吗?
谢谢您。

pjngdqdw

pjngdqdw1#

使用scala:

import scala.io.Source
import org.apache.spark.sql.SparkSession
 val spark = SparkSession.builder
    .appName("execute-query-files") 
    .master("local[*]") //since the jar will be executed locally
    .getOrCreate()

val sqlQuery = Source.fromFile("path/to/data.sql").mkString //read file
spark.sql(sqlQuery) //execute query

其中spark是您的spark会话,已经创建。

相关问题