org.apache.spark.SparkContext.version()方法的使用及代码示例

x33g5p2x  于2022-01-30 转载在 其他  
字(1.1k)|赞(0)|评价(0)|浏览(90)

本文整理了Java中org.apache.spark.SparkContext.version()方法的一些代码示例,展示了SparkContext.version()的具体用法。这些代码示例主要来源于Github/Stackoverflow/Maven等平台,是从一些精选项目中提取出来的代码,具有较强的参考意义,能在一定程度帮忙到你。SparkContext.version()方法的具体详情如下:
包路径:org.apache.spark.SparkContext
类名称:SparkContext
方法名:version

SparkContext.version介绍

暂无

代码示例

代码示例来源:origin: flipkart-incubator/spark-transformers

private void preConditions(DataFrame df) {
  if (null != df) {
    if (!StringUtils.startsWith(df.sqlContext().sparkContext().version(), Constants.SUPPORTED_SPARK_VERSION_PREFIX)) {
      throw new UnsupportedOperationException("Only spark version " + Constants.SUPPORTED_SPARK_VERSION_PREFIX + " is supported by this version of the library");
    }
  }
}

代码示例来源:origin: jpmml/jpmml-sparkml

static
public void checkVersion(){
  SparkContext sparkContext = SparkContext.getOrCreate();
  int[] version = parseVersion(sparkContext.version());
  if(!Arrays.equals(ConverterFactory.VERSION, version)){
    throw new IllegalArgumentException("Expected Apache Spark ML version " + formatVersion(ConverterFactory.VERSION) + ", got version " + formatVersion(version) + " (" + sparkContext.version() + ")");
  }
}

相关文章