使用mesos dcos cli提交spark

1aaf6o9v  于 2021-06-26  发布在  Mesos
关注(0)|答案(2)|浏览(335)

我正在尝试使用dcos cli在mesos上启动spark流式处理作业。我可以开始工作了。我的程序需要一个配置文件作为cli参数传递。如何使用dcos spark run--submit args实现这一点?
我试过——文件http://server/path/to//file 希望它能下载文件,但没用。驱动程序启动但失败,因为配置文件丢失。
我还尝试将jar和config文件卷起来作为tar并提交它。我可以在mesos日志中看到焦油是被提取出来的。config和jar文件都在工作目录中。但作业失败,classnotfoundexception。我怀疑spark submit是怎么开始的。

dcos spark run --submit-args="--supervise --deploy-mode cluster --class package.name.classname http://file-server:8000/Streaming.tar.gz Streaming.conf"

关于如何进行有什么提示吗?另外,在哪个日志文件中可以看到dcos使用的底层spark submit命令?

cgh8pdjw

cgh8pdjw1#

Streaming.conf 只是将传递给驱动程序的字符串。你的司机一定能看见。最简单的方法是将其放置在一个可访问的位置,指定您希望通过将其下载到沙盒中 spark.mesos.uris [1]. 您也可以编写应用程序来支持从远程位置进行读取,只需在cli上传递该位置即可。 --files 用于在执行器中放置文件,但您正试图将文件传递给驱动程序,因此无法工作。
[1] http://spark.apache.org/docs/latest/running-on-mesos.html
迈克尔·甘梅尔特
中层

hpcdzsge

hpcdzsge2#

下面是您应该启动的命令示例,以便使其正常工作: dcos spark run --submit-args='--conf spark.mesos.uris=https://s3-us-west-2.amazonaws.com/andrey-so-36323287/pi.conf --class JavaSparkPiConf https://s3-us-west-2.amazonaws.com/andrey-so-36323287/sparkPi_without_config_file.jar /mnt/mesos/sandbox/pi.conf' 哪里 --conf spark.mesos.uris=... mesos启动驱动程序或执行程序时,要下载到沙盒中的uri的逗号分隔列表。这适用于粗粒度和细粒度模式。 /mnt/mesos/sandbox/pi.conf 主类作为第0个参数接收的下载文件的路径(请参见下面的代码段)。 /mnt/mesos/sandbox/ 是容器内的标准路径,该容器Map到共同响应的mesos任务沙盒。

public final class JavaSparkPiConf {

  public static void main(String[] args) throws Exception {
    SparkConf sparkConf = new SparkConf().setAppName("JavaSparkPi");
    JavaSparkContext jsc = new JavaSparkContext(sparkConf);

    Scanner scanner = new Scanner(new FileInputStream(args[0]));
    int slices;
    if (scanner.hasNextInt()) {
      slices = scanner.nextInt();
    } else {
      slices = 2;
    }
    int n = 100000 * slices;
    List<Integer> l = new ArrayList<>(n);
    for (int i = 0; i < n; i++) {
      l.add(i);
    }

    JavaRDD<Integer> dataSet = jsc.parallelize(l, slices);

    int count = dataSet.map(new Function<Integer, Integer>() {
      @Override
      public Integer call(Integer integer) {
        double x = Math.random() * 2 - 1;
        double y = Math.random() * 2 - 1;
        return (x * x + y * y < 1) ? 1 : 0;
      }
    }).reduce(new Function2<Integer, Integer, Integer>() {
      @Override
      public Integer call(Integer integer, Integer integer2) {
        return integer + integer2;
      }
    });

    System.out.println("Pi is roughly " + 4.0 * count / n);

    jsc.stop();
  }
}

相关问题