Hadoop 独立 - hdfs 命令很慢

Posted 2023-04-15

【中文标题】Hadoop 独立 - hdfs 命令很慢

【英文标题】：Hadoop standalone - hdfs commands are slow

【发布时间】：2016-01-15 17:20:51

【问题描述】：

我正在使用 Hadoop 2.6.2 的 Ubuntu 14.04 VM 中进行开发/研究，但由于我向 hdfs 发出的任何命令总是需要大约 15 秒的时间才能运行，所以我经常受到阻碍。我试过四处寻找，但我无法找到问题的根源，即使这是预期的行为。

我关注directions on Apache's website 并成功启动并在 /opt/hadoop-2.6.2/ 中正常运行

以下是一个简单的测试命令，我用来评估我是否解决了问题。

/opt/hadoop-2.6.2/bin/hdfs dfs -ls /

我检查了日志，没有发现任何错误或奇怪的警告。我在网上找到的一个建议是将记录器设置为输出控制台。

HADOOP_ROOT_LOGGER=DEBUG,console /opt/hadoop-2.6.2/bin/hdfs dfs -ls /

这样做会产生一些有趣的东西。您可以观看它挂在以下之间。

16/01/15 11:59:02 DEBUG impl.MetricsSystemImpl: UgiMetrics, User and group related metrics
16/01/15 11:59:17 DEBUG util.KerberosName: Kerberos krb5 configuration not found, setting default realm to empty

想法：当我第一次看到这个时，我认为它正在等待身份验证，但我不仅没有安装 Kerberos，而且 core-site.xml 的默认配置显示身份验证模式设置为“简单”。这让人想知道为什么它会寻找任何与 Kerberos 相关的东西。我试图在 xml 中专门禁用它，并且滞后/缓慢并没有消失。我有点感觉延迟是因为它超时等待某事。其他人有什么想法吗？

【参考方案1】：

我只是继续安装 Kerberos，只是为了看看它是否可以工作。由于 /etc/krb5.conf 存在，大的延迟已经消失。我想知道我是否可以创建一个没有任何内容的文件。嗯……

sudo apt-get install krb5-kdc krb5-admin-server