我需要使用flume将流数据附加到hdfs中。在不覆盖现有日志文件的情况下，我需要将流数据附加到hdfs中的现有文件。你能提供相同的mr代码的链接吗。
jvlzgdj91#
默认情况下，flume不会覆盖hdfs目录中的现有数据。这是因为，flume保存传入的数据时，文件夹名附加了sink timestamp，例如flume.2345235234523，因此如果您在hdfs的同一目录中再次运行flume，它将在同一hdfs路径下创建另一个文件。
1条答案
按热度按时间jvlzgdj91#
默认情况下，flume不会覆盖hdfs目录中的现有数据。这是因为，flume保存传入的数据时，文件夹名附加了sink timestamp，例如flume.2345235234523，因此如果您在hdfs的同一目录中再次运行flume，它将在同一hdfs路径下创建另一个文件。