hadoop Hive无法创建Spark会话

pgccezyw  于 8个月前  发布在  Hadoop
关注(0)|答案(1)|浏览(128)

我尝试了很多,读了很多spark和hive的文档。事情甚至不匹配。例如https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started在hive的这个文档中,hive说2.3.x是为spark 2.0.0测试的,但在spark文档(https://spark.apache.org/docs/3.3.2/building-spark.html)中,它说spark 3.3.2是为hive 2.3.9构建的,文档不匹配的信息也是当我在spark 3.3.2上尝试hive 2.3.9时,当hive试图创建spark会话时,我得到错误。
这个错误出现时,我喜欢

select count(*) from table_name;

错误

无法执行spark任务,出现异常“org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)”失败:执行错误,从org. apache. hadoop. hive. ql. exec. spark. SparkTask返回代码% 1。无法创建spark客户端。
所以我检查了hive的日志,这里有一些你可能需要的信息。仅供参考,我的Spark运行在端口4040在本地主机。
WARN TransportElevator:从localhost/127.0.0.1连接时出现异常:4040 java.lang.IllegalArgumentException:框架太大:5211883372140375593 ERROR TransportResponseError:当localhost/127.0.0.1:4040的连接关闭时,仍有1个请求未完成。线程“main”org.apache.spark.SparkException:等待时抛出异常结果错误[f0 fd 81 a8 - 0 d 73 - 43 d 0 - 814 e-bda 0253 c132 a main]客户端。SparkClientImpl:等待客户端连接时出错。java.util.concurrent.ExecutionException:java.lang.RuntimeException:取消客户端“cc 1f 8b 8a-0 bfd-4574- 9 b6 d-90 bb 0238 a71 e”。错误:子进程在连接回错误日志之前退出警告:忽略非Spark配置属性:hive.spark.client.server.connect.timeout
要查看完整的错误日志-> https://pastebin.com/CiuHRCsy

wmtdaxz3

wmtdaxz31#

我找到了这个错误的原因。在**$HIVE_HOME/conf中的hive-site.xml中,我将配置spark.submit.deployMode的值从cluster更改为client**,这解决了我在本地运行spark和hive的问题。

相关问题