从pyspark sql中查找用于配置单元查询的配置单元表分区

3b6akqbq  于 2021-05-27  发布在  Hadoop
关注(0)|答案(0)|浏览(272)

我有一个配置单元外部表,它有几个按日期划分的列。数据为avro格式。我想证明或看看哪些分区正用于sparksql的查询。
我知道我们可以使用“explain dependency select*from table where date='2019-12-20'从配置单元cli中找到分区信息。我还知道如何使用explain()方法从sparksql获取执行计划,但这并没有显示分区信息。
请帮助我一个方法来查看表分区使用的信息从Spark。
谢谢
柴桑亚m

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题