本文整理了Java中org.apache.spark.SparkContext.register()
方法的一些代码示例,展示了SparkContext.register()
的具体用法。这些代码示例主要来源于Github
/Stackoverflow
/Maven
等平台,是从一些精选项目中提取出来的代码,具有较强的参考意义,能在一定程度帮忙到你。SparkContext.register()
方法的具体详情如下:
包路径:org.apache.spark.SparkContext
类名称:SparkContext
方法名:register
暂无
代码示例来源:origin: seznam/euphoria
@Override
public void init(JavaSparkContext sparkContext) {
SparkAccumulatorHolder sparkAccumulatorHolder = new SparkAccumulatorHolder();
sparkContext.sc().register(sparkAccumulatorHolder, "accumulators");
provider = new SparkNativeAccumulators(sparkAccumulatorHolder);
}
}
代码示例来源:origin: com.davidbracewell/mango
@Override
public void register() {
if (accumulatorV2.isRegistered()) {
return;
}
String name;
if (accumulatorV2 instanceof AccumulatorV2Wrapper) {
name = Cast.<AccumulatorV2Wrapper<IN, OUT>>as(accumulatorV2).getWrappedName().orElse(null);
} else {
name = name().orElse(null);
}
if (name == null) {
SparkStreamingContext.INSTANCE.sparkContext().sc().register(accumulatorV2);
} else {
SparkStreamingContext.INSTANCE.sparkContext().sc().register(accumulatorV2, name);
}
}
代码示例来源:origin: uber/hudi
jsc.sc().register(totalLogFiles);
jsc.sc().register(totalFileSlices);
代码示例来源:origin: com.uber.hoodie/hoodie-client
jsc.sc().register(totalLogFiles);
jsc.sc().register(totalFileSlices);
内容来源于网络,如有侵权,请联系作者删除!