我想在databricks作业中使用maven包，它将在新的自动化集群上运行。常规交互式集群可以选择安装maven包。此安装解决此包的所有依赖项。在自动集群上，您只能分配下载的jar，以便在集群启动时安装。
我的问题是，这个jar的依赖项丢失了。当然，我可以下载它们并将它们添加到集群中，但是依赖树似乎相当大。我可以下载一个包含所有依赖项的jar吗（没有找到依赖项）？或者我可以用另一种方式安装软件包吗？
我需要的包裹是azure EventSpark。
我想在databricks作业中使用maven包，它将在新的自动化集群上运行。常规交互式集群可以选择安装maven包。此安装解决此包的所有依赖项。在自动集群上，您只能分配下载的jar，以便在集群启动时安装。
我的问题是，这个jar的依赖项丢失了。当然，我可以下载它们并将它们添加到集群中，但是依赖树似乎相当大。我可以下载一个包含所有依赖项的jar吗（没有找到依赖项）？或者我可以用另一种方式安装软件包吗？
我需要的包裹是azure EventSpark。
1条答案
按热度按时间u0njafvf1#
我终于找到了解决办法。
要将maven包附加到作业（-cluster），必须在工作区中创建库。在databricks ui的起始页上选择“import library”，然后创建您想要的maven包。此包可以作为依赖项加载到作业设置中。
是一种明显的解决方案，但我从未在databricks中创建lib，因此不知道这个选项。