Hadoop 用户/文件夹权限

Posted

技术标签:

【中文标题】Hadoop 用户/文件夹权限【英文标题】:Hadoop user/folder permissions 【发布时间】:2017-10-24 08:28:23 【问题描述】:

我想为每个用户创建目录。

我查看了几个操作方法,他们说了不同的话, 我希望它尽可能简单(我不关心加密,因为用户将使用他们的 ssh 密钥登录机器)

我找到了这个小指南: hadoop user file permissions

但是有几个问题,

    我是否也需要在每台从机/节点机器上创建目录和用户?

    /user/myuser 文件夹到底是什么?它应该是 $HADOOP_HOME/etc/hadoop/hdfs-site.xml 文件中的 /opt/hadoop/dfs/name/data (dfs.data.dir) 文件夹吗?

    我是否还需要为每个用户提供/创建一个dfs.name.dir 目录?

创建用户和目录后,我是否需要在用户的 .bashrc 文件中添加一些参数或赋予他们特定的权限以使用 hadoop 命令? (例如放置/删除文件,创建目录...)

还有什么我忘记了吗?

附言 如果这很重要,我的 Hadoop 可以使用 sparks。

【问题讨论】:

【参考方案1】:

我是否也需要在每台从机/节点机器上创建文件夹和用户?

没有。通过程序或简单地使用hadoop fs -mkdir /foo在master上创建文件夹就足够了

这个 /user/myuser 文件夹到底是什么?它应该是 $HADOOP_HOME/etc/hadoop/hdfs-site.xml 文件中的 /opt/hadoop/dfs/name/data ( dfs.data.dir ) 文件夹吗?

该文件夹是您对 Linux 上 home 下的标准用户目录的期望。运行作业/任务/程序的用户在其文件夹中具有权限。请注意,HDFS 默认不会创建这些目录,除非用户是使用 Apache Ambari 或 Hue 之类的工具添加的。

我是否还需要为每个用户提供/创建一个 dfs.name.dir 目录?

你没有!他们都共享相同的dfs

【讨论】:

您应该在所有机器上都有用户帐户。尤其是所有的NameNodes

以上是关于Hadoop 用户/文件夹权限的主要内容,如果未能解决你的问题,请参考以下文章

hdfs多用户读写权限设置

修修改hdfs上的文件所属用户、所属组等读写执行控制权限

HADOOP docker:hdfs权限

hadoop启动时权限不足

linux权限问题,配置hadoop的时候提示权限不够。谢谢!

Linux文件用户权限及文本处理训练