宽转换期间和之后的分区数是否保持等于shuffle.partitions参数，还是在宽转换完成后返回到原始分区数？在大范围转换期间，必须为所有洗牌分区分配一个任务？
bvhaajcl1#
是的，一旦广域转换完成，分区的数量就会恢复正常。通过设置spark shuffle分区并运行一个广泛的转换并检查red.getnumpartitions来验证这一点。你可以尝试一下简单的Spark工作。
1条答案
按热度按时间bvhaajcl1#
是的，一旦广域转换完成，分区的数量就会恢复正常。通过设置spark shuffle分区并运行一个广泛的转换并检查red.getnumpartitions来验证这一点。你可以尝试一下简单的Spark工作。