org.apache.spark.SparkContext.register()方法的使用及代码示例

x33g5p2x  于2022-01-30 转载在 其他  
字(1.3k)|赞(0)|评价(0)|浏览(201)

本文整理了Java中org.apache.spark.SparkContext.register()方法的一些代码示例,展示了SparkContext.register()的具体用法。这些代码示例主要来源于Github/Stackoverflow/Maven等平台,是从一些精选项目中提取出来的代码,具有较强的参考意义,能在一定程度帮忙到你。SparkContext.register()方法的具体详情如下:
包路径:org.apache.spark.SparkContext
类名称:SparkContext
方法名:register

SparkContext.register介绍

暂无

代码示例

代码示例来源:origin: seznam/euphoria

@Override
 public void init(JavaSparkContext sparkContext) {
  SparkAccumulatorHolder sparkAccumulatorHolder = new SparkAccumulatorHolder();
  sparkContext.sc().register(sparkAccumulatorHolder, "accumulators");
  provider = new SparkNativeAccumulators(sparkAccumulatorHolder);
 }
}

代码示例来源:origin: com.davidbracewell/mango

@Override
public void register() {
 if (accumulatorV2.isRegistered()) {
   return;
 }
 String name;
 if (accumulatorV2 instanceof AccumulatorV2Wrapper) {
   name = Cast.<AccumulatorV2Wrapper<IN, OUT>>as(accumulatorV2).getWrappedName().orElse(null);
 } else {
   name = name().orElse(null);
 }
 if (name == null) {
   SparkStreamingContext.INSTANCE.sparkContext().sc().register(accumulatorV2);
 } else {
   SparkStreamingContext.INSTANCE.sparkContext().sc().register(accumulatorV2, name);
 }
}

代码示例来源:origin: uber/hudi

jsc.sc().register(totalLogFiles);
jsc.sc().register(totalFileSlices);

代码示例来源:origin: com.uber.hoodie/hoodie-client

jsc.sc().register(totalLogFiles);
jsc.sc().register(totalFileSlices);

相关文章