由于行大小大于32mb,spark作业失败

bvjveswy  于 2021-05-19  发布在  Spark
关注(0)|答案(0)|浏览(175)

我正在使用javaspark和hbase,使用newapihadooprdd获取数据。但我在从hbase获取数据时遇到以下错误。我坚信这是由于我的一行大小大于32mb。是否有任何方法可以配置行大小限制,或者是否有任何方法可以跳过特定的行数据(从hbase中删除该数据对我来说不是选项)。
错误:

Job aborted due to stage failure: Task 0 in stage 3.0 failed 4 times, most recent failure: Lost task 0.3 in stage 3.0 (TID 213, host_name, executor 2): com.mapr.fs.ErrnoException: scanNext() on 'hbase_table_name' failed with error: File too large (27).

对不起,我没有努力表明,因为我不知道这个错误。提前谢谢。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题