sparksings pyspark的最佳实践

up9lanfz 于 2021-05-27 发布在 Spark

关注(0)|答案(1)|浏览(367)

有一个flaskapi，每次调用一个端点都会触发spark中的一个作业，打开一个会话，完成后关闭。作业本身不到2分钟。
每次调用该方法时，我都会启动会话并关闭它。
最好是开始一个会话并保持它始终处于活动状态，还是每次打开并杀死它？
谢谢

python apache-spark pyspark

来源：https://stackoverflow.com/questions/62753897/best-practices-for-sparkessions-pyspark

1条答案

按热度按时间

这将导致问题如果您收到批量请求，那么将使用相同的资源创建多个spark会话。
最好保持spark会话运行并使用相同的

赞(0）回复(0）举报 2021-05-27

相关问题

微信公众号

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

Python pillow/PIL无法识别对象“imagedraw”的属性“textsize”
回答(3) 发布于 6个月前
python-3.x ImportError：无法从“typing_extensions”导入名称“deprecated”
回答(2) 发布于 6个月前
python-3.x 我正尝试使用密码学对字典进行加密
回答(1) 发布于 6个月前
在Python的IDLE中导入audiolazy的问题
回答(1) 发布于 6个月前
如何将Python程序中的数据添加到Markdown？
回答(2) 发布于 6个月前