hadoop输入剥离转储

mf98qq94 于 2021-06-04 发布在 Hadoop

关注(0)|答案(1)|浏览(203)

当某个特定任务失败时，我们是否可以获得运行该任务的输入分割的转储，以便我们可以在本地运行该输入部分的作业并进行远程调试？

hadoop hadoop2

来源：https://stackoverflow.com/questions/24797528/hadoop-input-split-dump

1条答案

按热度按时间

fxnxkyjh1#

您可以在mapper的设置中写入有关输入拆分的信息。例如 FileInputFormat :

@Override
    protected void setup(Context context) throws IOException, InterruptedException {
        FileSplit inputSplit = (FileSplit) context.getInputSplit();
        System.out.println(inputSplit.toString());
    }

赞(0）回复(0）举报 2021-06-04

我来回答

hadoop输入剥离转储

1条答案

相关问题

热门标签

最新问答