如何编写自定义hadoop组Map类

n6lpvg4x  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(428)

我有一个将hdfs与我的应用程序集成的用例。用户管理由应用程序负责。现在在hdfs端获取用户组,我们可以使用这里定义的任何预先定义的方法。https://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/groupsmapping.html#composite_groups_mapping
但是在我的例子中,由于我的应用程序处理用户和组,有没有一种方法可以创建一个自定义的groupmapping,它可以与我的应用程序通信以获取用户和组的详细信息?

carvr3hs

carvr3hs1#

hadoop的这个组件是完全可扩展的。只需编写groupmappingserviceprovider的自定义实现,它只有3个方法—一个用于将用户转换为用户所在的组列表,另两个用于管理Map的缓存。在实现这个接口之后,您需要做的就是将一个带有自定义实现的jar放到hdfs jvm的类路径上,然后在 hadoop.security.group.mapping 配置。

相关问题