无法在dockerfile中使用SparkyR安装spark

niknxzdl  于 2021-07-13  发布在  Spark
关注(0)|答案(0)|浏览(381)

我们正试图建立自己的码头形象,使用r和tidyverse与spark。但是,在尝试安装spark时,我们在构建中遇到了一个错误。
这是我们的文档:


# start with the most up-to-date tidyverse image as the base image

FROM rocker/tidyverse:latest

# install openjdk 8 (Java)

RUN apt-get update \
  && apt-get install -y openjdk-8-jdk

# Install sparklyr

RUN install2.r --error --deps TRUE sparklyr

# Install spark

RUN Rscript -e 'sparklyr::spark_install("2.4.3")'

RUN mv /root/spark /opt/ && \
    chown -R rstudio:rstudio /opt/spark/ && \
    ln -s /opt/spark/ /home/rstudio/

RUN install2.r --error --deps TRUE DBI
RUN install2.r --error --deps TRUE RPostgres
RUN install2.r --error --deps TRUE dbplyr

我们正在使用 Docker compose up 构建然后创建容器。
构建时,它抛出错误:

=> ERROR [4/8] RUN Rscript -e 'sparklyr::spark_install("2.3.0")'                                                              62.0s 
------
 > [4/8] RUN Rscript -e 'sparklyr::spark_install("2.3.0")':

# 7 61.85 Error in download.file(installInfo$packageRemotePath, destfile = installInfo$packageLocalPath,  :

# 7 61.85   download from 'https://archive.apache.org/dist/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz' failed

# 7 61.85 Calls: <Anonymous>

# 7 61.85 Execution halted

------
failed to solve: rpc error: code = Unknown desc = executor failed running [/bin/sh -c Rscript -e 'sparklyr::spark_install("2.3.0")']: exit code: 1

我们还尝试将其作为:

RUN R -e 'sparklyr::spark_install("2.4.3")'

而不是:

RUN Rscript -e 'sparklyr::spark_install("2.4.3")'

但它仍然抛出了一个错误。我们也尝试过安装不同版本的spark,看看是否能正常工作,但仍然没有成功。有人知道我为什么会出现这个错误,以及我如何在docker中正确安装SparkyR和SparkyR?谢谢您。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题