我是新来的 Spark . 当前，正在创建 Spark batch 作业使用 Java 以及 Maven 生成工具。我们正在使用 Cloudera 分配和 yarn 作为群集管理器。
在pom.xml中，我为 spark 就像 spark-core , spark-sql , spark-yarn 等等，我不想创造一个肥罐，将捆绑 spark/hadoop jar与我的应用程序jar一起使用，从而增加jar的大小。我认为正确的方法是使用集群jars路径。但正如我所说，我对 Spark ，所以不知道怎么做？
我将运行我的应用程序jar作为 spark-submit 但在命令中如何指定 hadoop/spark 相关的集群jar，以便我的应用程序在 yarn 集群。
如果有人指导我会很有帮助的。