minikube到对象存储连接超时错误,Spark测试

kcwpcxri  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(210)

在让本地minikube docker vm从本地机器连接到ibm云中的对象存储资源时遇到一些问题。一切工作正常时,执行的形象,从我的本地机器与码头只。我觉得我的minikube设置中缺少了一些网络配置,这些配置允许vm与我的bucket建立外部连接。当它到达需要读取文件的部分时,我得到以下错误。

com.ibm.stocator.thirdparty.cos.thirdparty.apache.http.conn.HttpHostConnectException: Connect to iam.cloud.ibm.com:443 failed: Connection timed out (Connection timed out)

感谢@pjoters的反馈。还要注意的是,我只尝试运行一次开发测试。那么根据反馈,什么是最简单的方式暴露我的吊舱?我当前的过程是安装spark操作符,它在spark操作符名称空间中创建一个spark操作符pod。之后,我只运行以下yaml:

apiVersion: "sparkoperator.k8s.io/v1beta2"
kind: SparkApplication
metadata:
  name: "<myapp>"
  type: Scala
  mode: cluster
  image: "<path-to-image>"
  imagePullPolicy: IfNotPresent
  mainClass: <class>
  mainApplicationFile: "local:///<path-to-jar>"
  driver:
    cores: 2
    memory: 5G
  executor:
    cores: 2
    instances: 5
    memory: 10G

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题