当hdfs卷为100%时回收表已损坏

scyqe7ek  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(265)

我使用的是hadoop版本hadoop2.7.0-mapr-1506。当数据量为100%时,我们的作业仍然尝试将覆盖数据插入到少数配置单元表中,它们已损坏,并且在访问时出现以下异常,

at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205)  
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:119)  
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)  
Caused by: org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: maprfs:/hive/bigdata.db/cadfp_wmt_table  
at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:289)  
at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:229)  
at org.apache.hadoop.mapred.SequenceFileInputFormat.listStatus(SequenceFileInputFormat.java:45)

现在我们已经释放了数据卷中的空间,并且希望回收下表中的数据,我们如何实现它

hadoop fs -ls /hive/bigdata.db/ | grep tmp~  
drwxr-xr-x   - bigdata bigdata         16 2019-04-05 07:38 /hive/bigdata.db/pc_bt_clean_table.tmp~!@  
drwxr-xr-x   - bigdata bigdata        209 2019-04-05 07:51 /hive/bigdata.db/pc_bt_table.tmp~!@  
drwxr-xr-x   - bigdata bigdata       1081 2019-04-05 07:38 /hive/bigdata.db/cadfp_wmt_table.tmp~!@

这里提到的尝试步骤如何修复损坏的hdfs文件,但hdfs命令对我不起作用

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题