不明白为什么scala spark的jupyter内核总是被中断

ehxuflar  于 2021-05-29  发布在  Spark
关注(0)|答案(1)|浏览(577)

我曾经有一个spylon内核的干净安装,应该是在升级到一个干净的18.04之后。我正在努力让spylon内核正常工作。这个屏幕截图基本上是在spark shell启动时退出的,就像你看到的“scala>:quit”一样,而且这种情况会不断发生,无限次。

我试过做一个pip安装,也试过conda安装spylon内核,但是根本不起作用。下面是kernel.json文件的内容。

{
     "display_name": "sparky",
     "language": "scala",
     "argv": [
      "/home/ops/Documents/spark-3.0.0-preview2-bin-hadoop2.7/bin/spark-shell",
      "{connection_file}"
     ],
     "env": {
      "SPARK_HOME": "/home/ops/Documents/spark-3.0.0-preview2-bin-hadoop2.7/"
     }
    }
ops@ops-XPS-15-9560:~/.ipython/kernels$ jupyter kernelspec list
Available kernels:
  python2          /home/ops/.local/share/jupyter/kernels/python2
  python3          /home/ops/.local/share/jupyter/kernels/python3
  spylon_kernel    /home/ops/.local/share/jupyter/kernels/spylon_kernel
ops@ops-XPS-15-9560:~/.ipython/kernels$

所以安装也很好,而且Spark壳本身运行也很好

zynd9foi

zynd9foi1#

用python3完整安装anaconda,并使用pip完成了这个技巧。

相关问题