spark可以用于实时交互应用程序吗?

qmelpv7a  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(324)

关闭。这个问题需要细节或清晰。它目前不接受答案。
**想改进这个问题吗?**通过编辑这个帖子来添加细节并澄清问题。

4个月前关门了。
改进这个问题
我们有一个系统,它包含一个计算报表的数据管道,以及一个可以进行特殊查询的ui层,在查询之后对我们的数据集应用一些特定的计算。我正在考虑将现有的批处理数据处理层迁移到spark,但我对ui应用层不太确定。
棘手的部分是,来自ui的请求还需要对数据集应用某些函数。我还没有找到任何查询引擎,比如elasticsearch,可以从查询结果中应用自定义函数。所以我想知道,假设源数据已经缓存在spark会话中,让ui层直接触发spark是否是个好主意。
所以我的问题是:
spark是实时交互应用程序的正确解决方案吗?有哪些替代方案?
我想让ui应用程序在spark cluster之外运行。那么,有没有什么框架可以让外部服务触发spark job呢?或者利用现有的spark会话?
任何建议都将不胜感激。

23c0lvtd

23c0lvtd1#

虽然这是一个基于观点的问题,但我想根据我的观察来回答。
spark是实时交互应用程序的正确解决方案吗?有哪些替代方案?
直接从内存表中的spark进行查询是个坏主意。。在多个并发用户的情况下,您可能会面临请求排队等问题。。Spark熄灭,用户界面不可用。。基于lru等从内存中逐出的内存中的spark表。。。
存储数据是适合您需要的持久存储。。es、hive、cassandra、rdbms等。。如果需要在数据存储顶部使用sql,请检查prestosql。
我想让ui应用程序在spark cluster之外运行。那么,有没有什么框架可以让外部服务触发spark job呢?或者利用现有的spark会话?
我们使用spark作业服务器将外部ui连接到现有的spark集群。你可以探索相同的或可能是Apache利维。

相关问题