多个NameNode的HDFS集群切换HA后，Spark应用变得很慢的处理办法

Posted 斜杠代码日记

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了多个NameNode的HDFS集群切换HA后，Spark应用变得很慢的处理办法相关的知识，希望对你有一定的参考价值。

Spark客户端需要依次轮询到Active NameNode才能正确执行。 查看hdfs-site.xml配置，配置在hdfs-site.xml中的FailoverProxyProvider接口为ConfiguredFailoverProxyProvider。源码实现为：从hdfs-site.xml

以上是关于多个NameNode的HDFS集群切换HA后，Spark应用变得很慢的处理办法的主要内容，如果未能解决你的问题，请参考以下文章

HDFS 和 YARN 的 HA 故障切换

NameNode HA实现原理

ZooKeeper实现HA HDFS

Hadoop (HDFS) HA架构通信机制

Hdfs的HA高可用

HDFS之HA