cascaloghadoop版本支持

8ljdwjyq  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(390)

我注意到cascalog入门指南指定了hadoop的一个版本

:profiles { :dev {:dependencies [[org.apache.hadoop/hadoop-core "1.0.3"]]}}

如果我的团队使用不同版本的hadoop,那么我是不是运气不好?更广泛地说,cascalog与哪一组hadoop版本互操作?

mwecs4sa

mwecs4sa1#

简单的答案是目前(截至2014年8月10日)cascalog的版本是2.1.1,默认情况下使用cascading 2.5.3和hadoop 1.2.1,所以是的,如果您的团队没有使用hadoop 1.x版本,那么您就走运了。
但是,cascalog可以移植到hadoop2.x。级联2.5.x支持hadoop 2,从文档hadoop 1到hadoop 2:
cascading 2.5通过提供两个java依赖项cascading-hadoop.jar和cascading-hadoop2-mr1.jar,支持hadoop1.x和2.x。这些依赖项可以互换,但是hadoop2-mr1.jar引入了新的api调用,并在适当的情况下不推荐旧的api调用。应该指出的是hadoop1-mr1.jar只支持mapreduce1api约定。使用此命名方案,可以引入新的api约定,而不会产生依赖项命名冲突的风险。
以下是将cascalog更新为hadoop 2.x的简单指南:
更新项目文件中的级联hadoop jar
在hadoop版本配置文件中更新hadoop版本
查找不推荐使用的级联api的所有用法,并更新为新约定。
编译并修复警告/错误
重现
我不是cascalog源代码方面的Maven,但是cascadingapi的用法可以在grep的几行代码中找到,升级api似乎很直接,如果有点乏味的话。

相关问题