我有一个spark作业，它将数据写入awss3，有时应用程序会失败，这会将spark暂存目录留在s3上，如下所示。

我的问题是，自动清理这些目录的最佳实践是什么，以及如何实现这一点？是否有一个spark配置来执行此操作，或者应该有一个独立的步骤来执行清理？