我想有一个消费者演员订阅Kafka主题和流数据与Spark流消费者以外的进一步处理。为什么是演员?因为我读到它的主管策略是处理Kafka失败(例如,失败后重新启动)的好方法。
我找到了两个选择:
java KafkaConsumer
类别:its poll()
方法返回 Map[String, Object]
. 我想要一个 DStream
被归还就像 KafkaUtils.createDirectStream
会的,我不知道如何从演员的外边获取流。
扩展 ActorHelper
特性和用途 actorStream()
如本例所示。后一个选项不显示到主题的连接,而是显示到套接字的连接。
有人能给我指出正确的方向吗?
1条答案
按热度按时间dgiusagp1#
为了处理kafka故障,我使用了apache curator框架和以下解决方法:
对于Kafka主题,我使用
com.softwaremill.reactivekafka
图书馆。例如: