Hadoop 用户/文件夹权限
Posted
技术标签:
【中文标题】Hadoop 用户/文件夹权限【英文标题】:Hadoop user/folder permissions 【发布时间】:2017-10-24 08:28:23 【问题描述】:我想为每个用户创建目录。
我查看了几个操作方法,他们说了不同的话, 我希望它尽可能简单(我不关心加密,因为用户将使用他们的 ssh 密钥登录机器)
我找到了这个小指南: hadoop user file permissions
但是有几个问题,
我是否也需要在每台从机/节点机器上创建目录和用户?
/user/myuser 文件夹到底是什么?它应该是 $HADOOP_HOME/etc/hadoop/hdfs-site.xml 文件中的 /opt/hadoop/dfs/name/data (dfs.data.dir
) 文件夹吗?
我是否还需要为每个用户提供/创建一个dfs.name.dir
目录?
创建用户和目录后,我是否需要在用户的 .bashrc 文件中添加一些参数或赋予他们特定的权限以使用 hadoop 命令? (例如放置/删除文件,创建目录...)
还有什么我忘记了吗?
附言 如果这很重要,我的 Hadoop 可以使用 sparks。
【问题讨论】:
【参考方案1】:我是否也需要在每台从机/节点机器上创建文件夹和用户?
没有。通过程序或简单地使用hadoop fs -mkdir /foo
在master上创建文件夹就足够了
这个 /user/myuser 文件夹到底是什么?它应该是 $HADOOP_HOME/etc/hadoop/hdfs-site.xml 文件中的 /opt/hadoop/dfs/name/data ( dfs.data.dir ) 文件夹吗?
该文件夹是您对 Linux 上 home
下的标准用户目录的期望。运行作业/任务/程序的用户在其文件夹中具有权限。请注意,HDFS 默认不会创建这些目录,除非用户是使用 Apache Ambari 或 Hue 之类的工具添加的。
我是否还需要为每个用户提供/创建一个 dfs.name.dir 目录?
你没有!他们都共享相同的dfs
【讨论】:
您应该在所有机器上都有用户帐户。尤其是所有的NameNodes以上是关于Hadoop 用户/文件夹权限的主要内容,如果未能解决你的问题,请参考以下文章