问题：如何将存储在awss3中的jar提交给localspark？我正在寻找一种将存储在s3中的jar提交给localspark（而不是emr）的方法。然而，当我调查这个问题时，我只看到如何将它提交给emr spark cluster。最接近的答案，我一直在寻找的方法是在链接。然而，上述答案似乎只适用于电子病历(不是吗？我可能错了。）
3mpgtkmj1#
spark文档中说：spark使用以下url方案来允许使用不同的策略来传播JAR：file:-绝对路径和file:/uri由驱动程序的http文件服务器提供服务，每个执行器从驱动程序http服务器提取文件。hdfs:、http:、https:、ftp:-这些文件和jar按预期从uri中下拉local:-以local:/开头的uri应作为本地文件存在于每个工作节点上。因此，只要您的s3 bucket是公共的并且您可以使用uri访问它，您就可以指定上面提到的其中一个
1条答案
按热度按时间3mpgtkmj1#
spark文档中说：
spark使用以下url方案来允许使用不同的策略来传播JAR：
file:-绝对路径和file:/uri由驱动程序的http文件服务器提供服务，每个执行器从驱动程序http服务器提取文件。
hdfs:、http:、https:、ftp:-这些文件和jar按预期从uri中下拉
local:-以local:/开头的uri应作为本地文件存在于每个工作节点上。
因此，只要您的s3 bucket是公共的并且您可以使用uri访问它，您就可以指定上面提到的其中一个