sparkshell-conf选项

zu0ti5jz 于 2021-06-01 发布在 Hadoop

关注(0)|答案(1)|浏览(347)

我需要使用在spark帮助页面中提到的registerkryoclasses方法启动带有自定义类的spark shell。
现在，正如页面中提到的，在启动spark shell之后，我无法重新创建sc变量，因此需要在启动spark shell命令时提供选项--conf。
使用--conf的选项值应该是什么，以便它等效于以下更新：

conf.registerKryoClasses(Array(classOf[ArrayBuffer[String]], classOf[ListBuffer[String]]))

hadoop apache-spark apache-spark-mllib

来源：https://stackoverflow.com/questions/44391837/spark-shell-conf-option-for-kryos-java-serializer

1条答案

按热度按时间

efzxgjgh1#

使用javaserializer而不是kryos serializer的选项对我很有用：

spark-shell --conf 'spark.serializer=org.apache.spark.serializer.JavaSerializer'

编辑：刚刚知道如何使用这些选项。我们可以做到以下几点：

--conf 'spark.kryo.classesToRegister=scala.collection.mutable.ArrayBuffer,scala.collection.mutable.ListBuffer'

赞(0）回复(0）举报 2021-06-01

我来回答

sparkshell-conf选项

1条答案

相关问题

热门标签

最新问答