我弄不明白，当使用文件通道时，flume数据是如何恢复的，而使用内存通道时，flume数据是如何恢复的。
我尝试了一个KafkaFlume，当我放下Flume，而阅读，Kafka读取的数据（文件）通道正常。当flume重启时，管道继续以可靠的方式传输数据。那么内存通道是如何不可恢复的呢？。在这种情况下，我需要恢复channel？中的数据，特别是当flume开始从保存的偏移量读取文件时。
我弄不明白，当使用文件通道时，flume数据是如何恢复的，而使用内存通道时，flume数据是如何恢复的。
我尝试了一个KafkaFlume，当我放下Flume，而阅读，Kafka读取的数据（文件）通道正常。当flume重启时，管道继续以可靠的方式传输数据。那么内存通道是如何不可恢复的呢？。在这种情况下，我需要恢复channel？中的数据，特别是当flume开始从保存的偏移量读取文件时。
1条答案
按热度按时间ncgqoxb01#
您可以重新启动kafka来检查消息是否丢失。
抵销概念：这取决于flume事务处理。在flume重启的过程中，一些事务可能会被提交，但是处理可能会由于连接丢失而失败。例如：您有一个事务需要进行一些处理，然后将其存储在db中。即使flume接收器抛出任何异常，也有transaction.commit（）。所以，当处理逻辑抛出异常时，您将在重启过程中丢失数据。提交事务并增加偏移量。
因此，在重新启动进程之前进行偏移更安全。你应该跟着
采取出口抵消
停止Flume
导入偏移量
启动Flume