来自java的hdfs-指定用户

weylhg0b  于 2021-06-04  发布在  Hadoop
关注(0)|答案(2)|浏览(329)

我很高兴连接到hdfs并列出我的主目录:

Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://hadoop:8020");
conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
FileSystem fs = FileSystem.get(conf);
RemoteIterator<LocatedFileStatus> ri = fs.listFiles(fs.getHomeDirectory(), false);
while (ri.hasNext()) {
    LocatedFileStatus lfs = ri.next();
    log.debug(lfs.getPath().toString());
}
fs.close();

我现在想做的是作为一个特定的用户(而不是whois用户)连接。有人知道你如何指定你连接的用户吗?

sg3maiej

sg3maiej1#

如果我的回答正确,那么您只需要获取用户的主目录(如果指定),而不是whois用户。
在配置文件中,将homedir属性设置为user/${user.name}。确保您有一个名为user.name的系统属性
我的案子就是这样。
我希望这是你想做的,如果不添加评论。

h22fl7wq

h22fl7wq2#

我一看完这件事 UserGroupInformation 类和 PrivilegedAction 或者 PrivilegedExceptionAction . 下面是连接到远程hdfs的示例代码,例如“不同的用户”(在本例中为“hbase”)。希望这能解决你的任务。如果您需要完整的身份验证方案,您需要改进用户处理。但是对于简单的身份验证方案(实际上没有身份验证),它工作得很好。

package org.myorg;

import java.security.PrivilegedExceptionAction;

import org.apache.hadoop.conf.*;
import org.apache.hadoop.security.UserGroupInformation;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileStatus;

public class HdfsTest {

    public static void main(String args[]) {

        try {
            UserGroupInformation ugi
                = UserGroupInformation.createRemoteUser("hbase");

            ugi.doAs(new PrivilegedExceptionAction<Void>() {

                public Void run() throws Exception {

                    Configuration conf = new Configuration();
                    conf.set("fs.defaultFS", "hdfs://1.2.3.4:8020/user/hbase");
                    conf.set("hadoop.job.ugi", "hbase");

                    FileSystem fs = FileSystem.get(conf);

                    fs.createNewFile(new Path("/user/hbase/test"));

                    FileStatus[] status = fs.listStatus(new Path("/user/hbase"));
                    for(int i=0;i<status.length;i++){
                        System.out.println(status[i].getPath());
                    }
                    return null;
                }
            });
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

相关问题