创建hadoop用户创错地方了

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了创建hadoop用户创错地方了相关的知识,希望对你有一定的参考价值。

说明:在安装好Centos系统后,用root创建一般用户hadoop,在hadoop用户下搭建Hadoop集群,故很多文件的路径均为/home/hadoop…下面介绍一般步骤:

1.创建一批普通用户,如test01、test02…并为其设置密码,命令如下:

useradd test01 创建用户
passwd test01 为test01设置密码
1
2
1
2
2.把该批普通用户加入hadoop用户组

gpasswd -a test01 hadoop 把用户test01加入hadoop用户组
1
1
注:在文件/etc/passwd中记录着系统所有的用户;在文件/etc/shadow中记录着所有用户的密码,并一一对应;在文件/etc/group中记录着所有的用户组。

3.由于在/home/hadoop/.bashrc中配置了相关的环境变量,在启动spark-shell、hive、hbase时不需要加入相关路径,为了便于普通用户test01等的操作,在test01等用户的.bashrc文件中配置相关环境变量,并用source ~./bashrc使其生效。

4.按照上述步骤设置后,可以正常启动spark-shell与hbase shell,但启动hive时出现报错:

Permission denied:user=test01,access=EXECUTE,inode="/tmp/hive":hadoop:supergroup:drwxrwx---
1
1
出现这个问题的原因是在hdfs上目录/tmp/hive的所有者为hadoop,所属用户组为supergroup,而相对于该目录用户test01属于其他用户,不具有任何权限,这里报错是不具有EXECUTE权限,要想解决这个问题,需要修改/tmp/hive的权限,命令如下:

hdfs dfs -chmod 777 /tmp 修改/tmp的权限
1
1
再次启动hive便不会再报该错误。

5.在hadoop用户上可以正常运行如下程序,但是在test01用户登录运行时抛出异常

hadoop jar hadoop jar /home/hadoop/hadoop2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /test/input /test/output
1
1
注:这里运行的是wordcount示例,/test/input为数据所在路径;/test/output为输出结果目录,运行时自动创建。
在test01用户上执行该程序时抛出如下异常:
这里写图片描述
出现这个异常的原因是:

原来mapreduce.jobhistory.address 和mapreduce.jobhistory.webapp.addres 这两个address的地址使用的是CDH默认的配置值,这里需要改成hostname,这样可能就是原来的位置不对造成的。
这里参考了(http://blog.csdn.net/wjcquking/article/details/41242625)
发现需要在hadoop的配置文件mapred.site.xml中添加如下内容:

</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value> #master为hostname
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
<property>
<name>yarn.app.mapreduce.am.staging-dir</name>
<value>/user</value> #/user为hdfs上的一个目录
</property>
1
2
3
4
5
6
7
8
9
10
11
12
13
1
2
3
4
5
6
7
8
9
10
11
12
13
在mapred.site.xml中添加如下内容后,把该文件发送到集群其余的机器;在hdfs上创建/user并修改其权限,使得用户test01对其有写权限。由于程序运行时要在hdfs上自动创建/test/output结果目录,则用户test01要对hdfs有写权限,这里为了便于操作,修改hdfs权限为777.
至此,wordcount示例可以正常运行。
参考技术A 你好,到后台的资料中进行修改,重新设置一下就好了!很高兴为你解答 参考技术B 你好,到后台的资料中进行修改,重新设置一下就好了! 参考技术C 说明:在安装好Centos系统后,用root创建一般用户hadoop,在hadoop用户下搭建Hadoop集群,故很多文件的路径均为/home/hadoop…下面介绍一般步骤:1.创建一批普通用户,如test01、test02…并为其设置密码,命令如下:useradd test01 创建用户passwd test01 为test01设置密码12122.把该批普通用户加入hadoop用户组gpasswd -a test01 hadoop 把用户test01加入hadoop用户组11注:在文件/etc/passwd中记录着系统所有的用户;在文件/etc/shadow中记录着所有用户的密码,并一一对应;在文件/etc/group中记录着所有的用户组。3.由于在/home/hadoop/.bashrc中配置了相关的环境变量,在启动spark-shell、hive、hbase时不需要加入相关路径,为了便于普通用户test01等的操作,在test01等用户的.bashrc文件中配置相关环境变量,并用source ~./bashrc使其生效。4.按照上述步骤设置后,可以正常启动spark-shell与hbase shell,但启动hive时出现报错:Permission denied:user=test01,access=EXECUTE,inode="/tmp/hive":hadoop:supergroup:drwxrwx---11出现这个问题的原因是在hdfs上目录/tmp/hive的所有者为hadoop,所属用户组为supergroup,而相对于该目录用户test01属于其他用户,不具有任何权限,这里报错是不具有EXECUTE权限,要想解决这个问题,需要修改/tmp/hive的权限,命令如下:hdfs dfs -chmod 777 /tmp 修改/tmp的权限11再次启动hive便不会再报该错误。5.在hadoop用户上可以正常运行如下程序,但是在test01用户登录运行时抛出异常hadoop jar hadoop jar /home/hadoop/hadoop2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /test/input /test/output11注:这里运行的是wordcount示例,/test/input为数据所在路径;/test/output为输出结果目录,运行时自动创建。在test01用户上执行该程序时抛出如下异常:这里写图片描述出现这个异常的原因是:原来mapreduce.jobhistory.address 和mapreduce.jobhistory.webapp.addres 这两个address的地址使用的是CDH默认的配置值,这里需要改成hostname,这样可能就是原来的位置不对造成的。这里参考了(http://blog.csdn.net/wjcquking/article/details/41242625)发现需要在hadoop的配置文件mapred.site.xml中添加如下内容:</property><property><name>mapreduce.jobhistory.address</name><value>master:10020</value> #master为hostname</property><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property><property><name>yarn.app.mapreduce.am.staging-dir</name><value>/user</value> #/user为hdfs上的一个目录</property>1234567891011121312345678910111213在mapred.site.xml中添加如下内容后,把该文件发送到集群其余的机器;在hdfs上创建/user并修改其权限,使得用户test01对其有写权限。由于程序运行时要在hdfs上自动创建/test/output结果目录,则用户test01要对hdfs有写权限,这里为了便于操作,修改hdfs权限为777.至此,wordcount示例可以正常运行。 参考技术D 到后台的资料中进行修改,重新设置一下就好了!

以上是关于创建hadoop用户创错地方了的主要内容,如果未能解决你的问题,请参考以下文章

五十七centos创建hadoop用户(修改hadoop用户密码,目录赋予hadoop用户权限等......)

Hadoop的安装与设置

hadoop用户是不是可以具有root权限

Hadoop学习------Hadoop安装方式之:单机部署

Hadoop 集群搭建以及脚本撰写

Hadoop 用户/文件夹权限