我正在尝试使用storm hdfs spout，我让apache nifi将文件移动到storm正在侦听的hdfs目录中，但是一旦apache nifi开始移动文件，storm就会感觉到并开始处理，注意到文件尚未完全移动。
我试过使用 conf.put(Configs.IGNORE_SUFFIX, ignoreSuffix) 从风暴边和Apache尼菲 updateAttribute 将文件重命名为 .ignore 我需要重新命名的文件后，被完全移动，我如何才能做到这一点？还是有别的办法？
1条答案
按热度按时间omtl5h9j1#
当写入hdfs时，nifi将使用文件名开头包含一个点（如“.foo.txt”）来写入文件，当写入操作完成时，它将重命名为不包含点（如“foo.txt”）的名称。所以，如果storm有一种方法可以忽略前缀，那么您应该可以忽略任何以点开头的内容。