spark 3.0.1Dataframe操作可以工作，但spark sql不能

8wigbo56 于 2021-05-18 发布在 Spark

关注(0)|答案(0)|浏览(244)

我构建了一个运行hadoop（hdfs）和spark的raspberrypi6节点集群。我最初让Spark2.4.3、Hadoop3.2.1和Scala2.11像个魔咒一样工作。不过，我最近将spark升级到了3.0.1，将scala升级到了2.12，我没有使用hadoop。
当我运行Dataframe操作时，它就像一个符咒；然而，当我尝试运行sparksql命令时，它们最终出错了。e、 g spark.sql（“mytable中的sel ec t count（*））。我使用的数据集非常小（几kb），但是sparksql出错了。如果我使用dataframeapi语法进行操作，它会非常有用。
我为一个这样的sparksql错误附加了stderror（googledrive中的文本文件链接）。任何帮助都将不胜感激。