多个Kafka流的Spark流

1l5u6lss  于 2021-06-08  发布在  Kafka
关注(0)|答案(0)|浏览(150)

如何输入来自两个不同主题的kafka流(比如view\u event和click\u event),我们如何在java中做到这一点,以便并行地接收这两个流。到现在为止我一直在尝试这个

JavaPairInputDStream<String, GenericData.Record> stream_1 =
    KafkaUtils.createDirectStream(ssc, String.class, GenericData.Record.class, StringDecoder.class,
        GenericDataRecordDecoder.class, props, topicsSet_1);

JavaPairInputDStream<String, GenericData.Record> stream_2 =
    KafkaUtils.createDirectStream(ssc, String.class, GenericData.Record.class, StringDecoder.class,
        GenericDataRecordDecoder.class, props, topicsSet_2);

但我在输出中观察到一些奇怪的现象,即有时只接收流1,而只接收流2。另外,我正在使用连接器版本0.8.2.1,如果您提供示例代码,我会更好。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题