org.apache.hadoop.hive.ql.exec.Utilities.getPrefixedTaskIdFromFilename()方法的使用及代码示例

x33g5p2x  于2022-02-01 转载在 其他  
字(1.4k)|赞(0)|评价(0)|浏览(74)

本文整理了Java中org.apache.hadoop.hive.ql.exec.Utilities.getPrefixedTaskIdFromFilename()方法的一些代码示例,展示了Utilities.getPrefixedTaskIdFromFilename()的具体用法。这些代码示例主要来源于Github/Stackoverflow/Maven等平台,是从一些精选项目中提取出来的代码,具有较强的参考意义,能在一定程度帮忙到你。Utilities.getPrefixedTaskIdFromFilename()方法的具体详情如下:
包路径:org.apache.hadoop.hive.ql.exec.Utilities
类名称:Utilities
方法名:getPrefixedTaskIdFromFilename

Utilities.getPrefixedTaskIdFromFilename介绍

[英]Get the part-spec + task id from the filename. It is assumed that the filename is derived from the output of getTaskId
[中]从文件名中获取零件规格+任务id。假定文件名是从GetTaskKid的输出中派生出来的

代码示例

代码示例来源:origin: apache/hive

private static void ponderRemovingTempOrDuplicateFile(FileSystem fs,
  FileStatus file, HashMap<String, FileStatus> taskIdToFile) throws IOException {
 Path filePath = file.getPath();
 String taskId = getPrefixedTaskIdFromFilename(filePath.getName());
 Utilities.FILE_OP_LOGGER.trace("removeTempOrDuplicateFiles looking at {}"
    + ", taskId {}", filePath, taskId);
 FileStatus otherFile = taskIdToFile.get(taskId);
 taskIdToFile.put(taskId, (otherFile == null) ? file :
  compareTempOrDuplicateFiles(fs, file, otherFile));
}

代码示例来源:origin: apache/drill

String taskId = getPrefixedTaskIdFromFilename(one.getPath().getName());
FileStatus otherFile = taskIdToFile.get(taskId);
if (otherFile == null) {

代码示例来源:origin: com.facebook.presto.hive/hive-apache

String taskId = getPrefixedTaskIdFromFilename(one.getPath().getName());
FileStatus otherFile = taskIdToFile.get(taskId);
if (otherFile == null) {

相关文章

微信公众号

最新文章

更多

Utilities类方法