关于maxpartitionid,shufflemapstage和resultstage之间有区别吗?

u0sqgete  于 2021-07-09  发布在  Spark
关注(0)|答案(0)|浏览(182)

我搞不明白为什么shufflemapstage maxpartitionid是 stage.numPartitions - 1 结果是 s.rdd.partitions.length - 1 . 当我潜入 stage.numPartitions ,我发现了 stage.numPartitions 相当于 rdd.partitions.length . 为什么不使用shufflemapstage rdd.partitions.length 而不是 stage.numPartitions .
相关代码如下所示。

private[spark] class DAGScheduler(){
    //.........
    stage match {
      case s: ShuffleMapStage =>
        outputCommitCoordinator.stageStart(stage = s.id, maxPartitionId = s.numPartitions - 1)
      case s: ResultStage =>
        outputCommitCoordinator.stageStart(
          stage = s.id, maxPartitionId = s.rdd.partitions.length - 1)
    }
    //.........
}

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题