parquet文件未能同时加载到两个活动的jupyter笔记本会话上

2mbi3lxu  于 2021-07-14  发布在  Spark
关注(0)|答案(0)|浏览(182)

我在cloudera上加载我保存在hdfs上的Parquet文件。在jupyter笔记本中,我使用以下代码加载我的表。

spark=generate_spark_instance(total_emory=100, total_vcpu=100)
Table=spark.read.load('Table.parquet')

这在我第一次打开jupyter笔记本的时候效果很好。为了进行比较,我打开了另一个空白的jupyter笔记本会话,并尝试用相同的代码再次加载同一个表。不过,这次我 py4JJavaError: An error occured while calling o526.load. 似乎有什么东西阻止了我同时在两个活动的jupyter笔记本会话中加载两次Parquet文件。有办法解决这个问题吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题