如何停止spark文件流从hdfs读取.tmp文件？

wgmfuz8q 于 2021-05-27 发布在 Hadoop

关注(0)|答案(0)|浏览(179)

我使用spark文件流读取和处理hadoop文件夹。但它也可以从hadoop流式处理.tmp文件。请帮助我从hadoop流式处理只完成的文件。
我面临着这个问题。
作业因阶段失败而中止：阶段257.0中的任务1失败4次，最近的失败：阶段257.0中的任务1.3丢失（tid 18830，cassandra1，executor 1）：java.io.filenotfoundexception:文件不存在：/mmi\u traffic/listenertransaction/2020/09/18/18/listenertransaction.1600433700521.gz.tmp

hadoop spark-streaming

来源：https://stackoverflow.com/questions/63956522/how-to-stop-spark-file-streaming-job-reading-tmp-file-from-hdfs