perl模块依赖关系

xqk2d5yq  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(348)

在hadoop流媒体中使用perl脚本作为mapper&reducer时,我们如何管理perl模块依赖关系。
我想在perl mapper&reducer脚本中使用“net::rabbitmq”。
在perl/hadoop流媒体中有没有标准的方法来处理类似于distributedcache(对于hadoopjavamr)的依赖关系

cwxwcias

cwxwcias1#

有几种方法可以处理依赖关系,包括指定自定义库路径或使用par::packer创建perl应用程序的压缩二进制文件。在hadoop::streaming pod的examples部分中有一些如何完成这些任务的示例,作者对该过程进行了很好的描述,并考虑了处理依赖关系的不同方法。请注意,hadoop::streaming文档中提供的关于处理perl依赖关系的建议并不特定于该模块。
以下是hadoop::streaming文档的摘录(其中有详细的示例,如前所述):
所有perl模块必须安装在每个hadoop集群机器上。这对于大型装置来说是一个挑战。我有一个local::lib控制的perl目录,我把它推到所有hadoop框(/apps/perl5)上的一个固定位置,它保持最新并包含在我的系统映像中。之前,我使用par::packer(pp)生成了独立的perl文件,除了使用-file选项的jar的大小外,它工作得非常好。独立文件可以放入hdfs中,然后通过-cachefile选项包含在jar中。

相关问题