pysparkYarn簇模式?

jv2fixgn  于 2021-05-24  发布在  Spark
关注(0)|答案(0)|浏览(202)

有没有可能在jupyter中通过yarn cluster模式运行pyspark,从而在用户界面中本地返回结果?据我所知,这是唯一可能的Yarn客户端模式。我的问题是多个非技术用户将使用一个用户界面输入几个参数,这将饲料到我的代码。然后,这将在单个远程服务器上以客户机模式执行(因此单个远程服务器连接到集群)。因此,我有担心,这将是过度whelmed在Yarn客户机模式,但相反,在Yarn集群模式,我不认为这将是可能的结果返回到用户界面。
有什么想法我很感激。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题