使用enablehivesupport创建临时sparksession

iq3niunx 于 2021-05-29 发布在 Hadoop

关注(0)|答案(2)|浏览(791)

我正在用hadoop连接到允许动态数据类型连接的数据。
我需要能够连接到hive thrift服务器a，拉入一些数据，然后连接到hive thrift服务器b并拉入更多数据。
据我所知 enableHiveSupport 需要在初始 SparkSession.builder . 有没有办法在事后添加/更改节俭连接？
我遇到的唯一可能的解决办法是使用 newSession():SparkSession 然而，我不确定这是否是正确的解决方案，我正在寻找。
我使用的是spark 2.1和hadoop 2.7

hadoop Hive scala apache-spark mapr

来源：https://stackoverflow.com/questions/48873534/create-temporary-sparksession-with-enablehivesupport

2条答案

按热度按时间

ztyzrc3y1#

val spark = SparkSession.builder()
      .appName("Example")
      .master("local")
      .config("hive.metastore.uris","thrift://B:PortNumber")
      .enableHiveSupport()
      .getOrCreate()

赞(0）回复(0）举报 2021-05-29

zpf6vheq2#

根据《spark权威指南》“创建[sparkconf]之后，sparkconf对于特定的spark应用程序是不可变的”chambers and zaharia（2018，第276页）

赞(0）回复(0）举报 2021-05-29