hdfs命令很慢

hsvhsicv  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(528)

我正在用hadoop2.6.2在ubuntu14.04虚拟机上进行开发/研究,我经常被拖延,因为我向hdfs发出的任何命令总是需要大约15秒才能运行。我试着四处挖掘,但我无法找到问题的根源,或者即使这是预期的行为。
我按照apache网站上的说明,成功地在/opt/hadoop-2.6.2中安装并运行良好/
下面是一个简单的测试命令,我使用它来评估是否解决了问题。

/opt/hadoop-2.6.2/bin/hdfs dfs -ls /

我检查了日志,没有发现任何错误或奇怪的警告。我在网上找到的一个建议是将记录器设置为输出控制台。

HADOOP_ROOT_LOGGER=DEBUG,console /opt/hadoop-2.6.2/bin/hdfs dfs -ls /

这样做会产生一些有趣的东西。你可以看着它挂在下面两个中间。

16/01/15 11:59:02 DEBUG impl.MetricsSystemImpl: UgiMetrics, User and group related metrics
16/01/15 11:59:17 DEBUG util.KerberosName: Kerberos krb5 configuration not found, setting default realm to empty

想法:当我第一次看到这个时,我假设它挂起了身份验证,但我不仅没有安装kerberos,core-site.xml的默认配置显示身份验证模式设置为“simple”。这让人想知道为什么它会从一开始就寻找任何与kerberos相关的东西。我试图在xml中明确地禁用它,但是延迟/缓慢并没有消失。我有种感觉,延迟是因为它的超时等待的东西。其他人有什么想法吗?

k5ifujac

k5ifujac1#

我只是继续安装kerberos,看看它是否能工作。由于存在/etc/krb5.conf,大的延迟已经消失了。我不知道我是否可以创建一个文件,里面什么都没有。嗯。。。

sudo apt-get install krb5-kdc krb5-admin-server

相关问题