没有 HDFS 的 Impala 和 Kudu

Posted

技术标签:

【中文标题】没有 HDFS 的 Impala 和 Kudu【英文标题】:Impala and Kudu without HDFS 【发布时间】:2019-09-05 04:54:23 【问题描述】:

当我启动 impala 时,它显示以下错误:

“当前配置的默认文件系统:ProxyLocalFileSystem.fs.defaultFS (file:///) 不支持”

在配置中我说过要使用本地磁盘,但它搜索 HDFS,不向其中写入任何文件,只是希望它安装并运行,然后我没有收到此错误。

我尝试将位置更改为本地磁盘,但它希望 HDFS 在后台运行。

Impala 和 Kudu 可以在没有 HDFS 的情况下工作吗?

还有其他需要吗?

【问题讨论】:

【参考方案1】:

您可以在没有 HDFS 的情况下运行 impala。

首先将默认文件系统从 hdfs 更改为 (file://),这可以通过编辑 core-site.xml 的“fs.defaultFS”属性并确保它正确链接到 impala 来完成。(使用正确的 core-site.xml)然后在您的 impala 守护程序的参数中添加“-abort_on_config_error=false”,或者将其添加到您的 /etc/default/impala 文件中。

这将导致打印错误,但不会导致 impala 守护程序中止。 感谢蒂姆·阿姆斯特朗

More Referance

【讨论】:

以上是关于没有 HDFS 的 Impala 和 Kudu的主要内容,如果未能解决你的问题,请参考以下文章

无法将 Impala-Kudu 连接到 Apache Kudu(没有 Cloudera Manager):获取 TTransportException 错误

怎么把impala表导入kudu

涅槃重生:KRPC 实现 Impala 的飞跃

Impala+Kudu兼顾OLTP和OLAP能力

涅槃重生:KRPC 实现 Impala 的飞跃

将数据从 HDFS 加载到 Kudu