HDFS Property列表,适用于Hadoop 2.4以上 。
Posted jwaonua
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HDFS Property列表,适用于Hadoop 2.4以上 。相关的知识,希望对你有一定的参考价值。
Property列表链接:http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
为什么会想着写这个?
因为我在Deepin上配置Hadoop运行环境出了很多奇妙的问题,其中最恶心的就是这个问题。
为什么需要这个东西?
因为官方的英文教程以及一大堆帮助解决问题的博客,并没有将所有的 配置资源(Property)项 陈列出来。
甚至某些博客“各抒己见”给的配置资源不够严谨,坑害了多少萌新.....(反正我是被坑到了)
例如:
但在Hadoop 2.4以上是 dfs.namenode.http-address 这个东西。
hadoop的默认配置与主机名以及主机名的IP映射息息相关,紧密联系,不可分割。
所以配置Hadoop的时候,一定要注意自己主机的主机名IP映射。
(呵呵,我的127.0.0.1被映射在localhost上;但我的主机名叫做hadoop-0-PC,它被映射在127.0.1.1上。导致我在浏览器上输入local host:50070、127.0.0.1:50070去访问namenode页面死活不对。
hadoop默认是按照你的主机名进行配置,也就是你计算机 /etc/hostname 里记录的字符串,进行各种端口配置。
所以localhost很有可能作废,这个默认的主机名很有可能在个性化修改的时候GG,一切应当按照/etc/hosts文件里的来)
适合解决50070访问被拒的问题。
啧啧,内部有很多细节,一言难尽,坑货无比,收获颇多,但想sha人。
以上是关于HDFS Property列表,适用于Hadoop 2.4以上 。的主要内容,如果未能解决你的问题,请参考以下文章