在本地ec2上运行hadoop-3.1.1和spark-2.4.0-bin-without-hadoop时，出现以下错误。

[Stage 6:>                                                       (0 + 32) / 200]
2019-10-03 15:40:34 ERROR SparkHadoopMapRedUtil:91 - Error committing the output of task: attempt_20191003154033_0006_m_000000_0
java.io.IOException: 
Failed to rename S3AFileStatus{path=s3a://mck-547-data/data_dev/z_ref/ref_proc/_temporary/0/_temporary/attempt_20191003154033_0006_m_000000_0/part-00000-f3c3b55e-97e9-47d1-a7e2-1b35177e6206-c000.snappy.parquet; 
isDirectory=false; length=7945; replication=1; blocksize=33554432; modification_time=1570117234000; access_time=0; owner=kk_shinde; group=kk_shinde; permission=rw-rw-rw-; isSymlink=false; hasAcl=false; isEncrypted=false; isErasureCoded=false} isEmptyDirectory=FALSE 
to s3a://mck-547-data/data_dev/z_ref/ref_proc/part-00000-f3c3b55e-97e9-47d1-a7e2-1b35177e6206-c000.snappy.parquet

我谷歌和所有的链接重新提交如下。
https://issues.apache.org/jira/browse/hadoop-14161
https://github.com/apache/hadoop/blob/trunk/hadoop-tools/hadoop-aws/src/site/markdown/tools/hadoop-aws/committers.md
尝试将以下属性添加到spark conf：

# spark.hadoop.fs.s3a.buffer.dir /tmp/spark_tmp/

# spark.hadoop.s.s3a.committer.staging.conflict-mode replace

但仍然有这个错误。只是想知道什么是简单的解决办法。我们正在尝试一个选项，写到本地并在代码中执行s3同步。但这是非常粗糙的方法。
有什么建议吗？