如何创建spark/flink流数据处理作为微服务(RESTAPI)

nom7f22z  于 2021-06-25  发布在  Flink
关注(0)|答案(2)|浏览(354)

我正在使用spark、flink和kafka创建流分析应用程序。每个分析/功能都将实现为一个微服务,以便该分析能够在以后的不同项目中使用。
我在简单的scala应用程序中完美地运行了spark/flink作业,并分别在spark和flink集群上提交了这个作业。但是当rest post startjob()请求调用我的web服务时,我必须启动/运行这个作业。
如何将spark&flink数据处理功能集成到面向web服务的应用程序中?
到现在为止,我试过lagom微服务,但我发现这么多的问题,你可以检查
lagom微服务中接收流数据的最佳方法
java.io.notserializableexception使用ApacheFlink和lagom
我认为我没有采取正确的方向流处理微服务应用程序。寻找正确的方向来实现这个rest服务分析。

qmelpv7a

qmelpv7a1#

flink有一个RESTAPI,可以用来提交和控制作业——它由FlinkWebUI使用。看这里的文件。另见上一个问题。

jjhzyzn0

jjhzyzn02#

我认为restapi提供了作业运行的细节,任何flinkapi都提供了假设spring boot rest端点调用是否连接kafka流数据,并返回kafka数据?

相关问题