Spark有一个用于应用程序范围清理的组件-ContextCleaner。它运行在驱动程序上，并在ShuffleDependency示例没有引用时删除shuffle文件。

/**
 * An asynchronous cleaner for RDD, shuffle, and broadcast state.
 *
 * This maintains a weak reference for each RDD, ShuffleDependency, and Broadcast of interest,
 * to be processed when the associated object goes out of scope of the application. Actual
 * cleanup is performed in a separate daemon thread.
 */
private[spark] class ContextCleaner(
...

字符串
所以，这个过程有点依赖于JVM垃圾收集的行为。相关引用来自[SPARK-5750][SPARK-3441][SPARK-5836][CORE]下面是解释shuffle的新增文档。
我知道有一些关于 Shuffle 文件填充磁盘的担忧，但截至目前，可能会发生，因为以下一个或多个原因。

1. GC在很长一段时间内不会启动（非常高的驱动程序内存）。解决方案通常是定期调用GC。
   1.没有超出范围的内容，因此没有任何内容是GCed的。
   1.有一些问题报告与 Shuffle 文件没有被清理在Mesos
   第三个是一个错误，我们将修复它。前两个应该在文档中澄清。
   为了减少资源释放的延迟，我将Dataset和RDD变量设置为null，如果数据在不再需要时被缓存，则调用Dataset.unpersist()和RDD.unpersist()函数。有关详细信息，请参阅Oracle博客中的When are Java objects eligible for garbage collection?页和Spark的RDD编程指南中的删除数据一节。
   清除器默认启用。请参阅Spark Configuration页了解更多信息。