我有一个spark程序，在里面我也使用一些外部jar。在编写了一个程序之后，从maven build创建了一个jar并将提交给spark。有一个疑问，我有5个节点的集群。一旦我将spark代码jar提交到spark submit，那么我是否也需要将依赖者的jar复制到工作节点？我可以知道依赖jar的运动原理吗？
mbjcgjjk1#
传递所需的jar文件列表 : 触发配置属性 spark.driver.extraClassPath & spark.executor.extraClassPath .所需的jar将被复制到主节点和工作节点。
:
spark.driver.extraClassPath
spark.executor.extraClassPath
spark-submit \ --conf "spark.driver.extraClassPath=/lib/<jar_file_a>.jar:/lib/<jar_file_a>.jar" \ --conf "spark.executor.extraClassPath=/lib/<jar_file_a>.jar:/lib/<jar_file_a>.jar" \ [...]
1条答案
按热度按时间mbjcgjjk1#
传递所需的jar文件列表
:触发配置属性spark.driver.extraClassPath&spark.executor.extraClassPath.所需的jar将被复制到主节点和工作节点。