jenkins作为hadoop edgenode上的jobserver

ijxebb2r  于 2021-06-01  发布在  Hadoop
关注(0)|答案(1)|浏览(383)

我´我不确定有人能帮我,但我´我试试看。
我´我在openshift集群上运行jenkins,将其用于部署,并将其用作运行etl作业的jobserver。这些作业将数据从平面文件传输到数据库,并从数据库传输到数据库。
现在,我应该扩展系统,使用mapr将数据传输到hadoop集群。我想知道的是,如何使用mapr在hadoop集群的edgenode上使用一个新的jenkins slave作为jobserver。我是否需要edgenode上的jenkins,或者我是否能够从现有的jenkins作业服务器使用mapr?
也许,有人能够帮助我或有一些信息/链接如何解决它。
谢谢大家。。。。

w8biq8rn

w8biq8rn1#

“使用mapr”对我来说不是很清楚,因为我只是在一天结束时将其视为hadoop,但是您可以通过只安装hadoopjava(也可能是mapr)客户端实用程序以及来自其他边缘节点的定义如何与集群通信的任何xml配置文件,有效地将jenkins slave设置为“边缘节点”。
然后,Jenkins就能跑了 sh("hadoop jar app.jar") ,例如
如果您使用的是openshift,还可以尝试将hadoop客户机放在docker映像中,该映像可以在jenkins或其他任何地方运行

相关问题