emr中jupytherhub的默认安装无法访问spark中的配置单元上下文。我怎样才能解决这个问题？
sd2nnvve1#
要授予spark对配置单元上下文的访问权，您需要如下编辑livy.conf文件（/etc/livy/conf.dist/livy.conf）
livy.repl.enableHiveContext = true
然后按照这里的说明重新启动笔记本和livy服务，基本上：
sudo stop livy-server sudo start livy-server
检查它是否工作的一个简单方法是检查spark笔记本上的数据库：
spark.sql("show databases").show
您可能想在emr启动时使用emr的标准配置功能来配置它，https://docs.aws.amazon.com/emr/latest/releaseguide/emr-configure-apps.html
1条答案
按热度按时间sd2nnvve1#
要授予spark对配置单元上下文的访问权，您需要如下编辑livy.conf文件（/etc/livy/conf.dist/livy.conf）
然后按照这里的说明重新启动笔记本和livy服务，基本上：
检查它是否工作的一个简单方法是检查spark笔记本上的数据库：
您可能想在emr启动时使用emr的标准配置功能来配置它，https://docs.aws.amazon.com/emr/latest/releaseguide/emr-configure-apps.html