从pyspark访问mysql表的更好方法

wixjitnu  于 2021-07-14  发布在  Spark
关注(0)|答案(0)|浏览(175)

我们在pyspark中有一个场景,在这里我们访问mysql db来获取当前的批处理细节。这将返回一个作业的单个记录。
为此,我们应该如何使用mysql并保持连接单一,而不是使用sqlcontext.read.format(“jdbc”)。我相信sqlcontext.read.format(“jdbc”)将为每个任务创建mysql示例。我觉得一个更好的选择是从驱动程序本身访问mysql并广播变量。
任何建议都会有帮助

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题