应用程序主程序中的循环?

m0rkklqb  于 2021-05-17  发布在  Spark
关注(0)|答案(0)|浏览(256)

我希望spark能够监听事件(可能轮询数据库或队列)并启动一个导致向数据库写入一个小json文档的作业。
我可以想出三种方法:
Package 程序侦听事件,并为接收到的每个事件执行spark提交
似乎每件事都要花费大量的开销。
似乎这个 Package 程序需要很聪明
Package 程序需要监控
以事件为输入的Spark流
我试着把它放进poc,但没能让它正常工作。那家商店好像卡住了。
我会使用foreachrdd,然后从rdd中提取每条消息并执行工作吗?
这是多线程的吗?是否同时运行多个事件作业?或者一次只能一个?
在提交作业之前检查新事件的应用程序主代码中循环
很高兴没有 Package 程序
这是多线程的吗?有没有办法让它多线程?或者一次只运行一个作业?
这是否会永久锁定am cpu?spark流是否也会锁定cpu?
使用thread.sleep是个坏主意吗?
如有任何想法,我们将不胜感激。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题