sparksql返回所有空值,而directhive工作,而directparquet通过spark工作

icomxhvb  于 2021-07-13  发布在  Spark
关注(0)|答案(0)|浏览(179)

我在配置单元中定义的外部表上使用sparksql时遇到了一个奇怪的问题 CREATE EXTERNAL TABLE ... STORED AS PARQUET... LOCATION 'hdfs://path/TABLENAME' 如果我在spark中用 spark.table("tablename") 或者 spark.sql("select column from tablename") 我得到了正确的行计数,但每个值都是空的。
当我通过beeline查询表时,我得到了正确的值。
另外,如果我直接用spark查询Parquet地板 spark.read.parquet("hdfs://path/TABLENAME") 我也得到了正确的答案。
更奇怪的是,如果我用类似的 CREATE EXTERNAL TABLE... 在hdfs中,sparksql可以工作。
我下一步该去哪里?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题