No node available for block: blk

Posted 2020-09-09 小小范同学

刚才利用hadoop和mahout运行kmean是算法，一开始利用了10个节点，一个master，9个slave，运行了7分钟，我为了看速度的变化，就改用伪分布的形式，但是一开始运行就报错了：

 

17/04/08 11:43:32 INFO hdfs.DFSClient: No node available for block: blk_5391189133848637450_1019 file=/user/root/testdata/synthetic_control.data.txt

 意思就是针对文件块block，没有可用的节点，我一开始以为是节点没=没有启动，但是后来看了一下webUI，live nodes为1，说明datanode已经启动了啊，百度才知道是hdfs-site.xml出问题了：需要加上以下配置：

    <property>
                <name>dfs.datanode.max.xcievers</name>
            <value>4096</value>
                <dedication> Datanode 有一个同时处理文件的上限，至少要有4096</dedication>
        </property>

不配置这个property的话，那么默认大小是256，显然有点小了；