Hadoop技巧(01):插件,终端权限

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop技巧(01):插件,终端权限相关的知识,希望对你有一定的参考价值。

阅读目录

本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。

文章是哥(mephisto)写的,SourceLink

 

     在hadoop开发或者使用中,可能会使用到一些插件或3方软件,比如:Eclipse的Hadoop插件,ETL的Kettle。那么就存在一个hdfs目录权限的问题。

     下面就这个权限问题进行阐述。

HDFS权限

一:目录结构

  Hadoop文件系统HDFS的用户为hdfs,默认密码为空。HDFS根目录下还有一个tmp目录,这个目录是可以任何用户进行操作的,包括新建、删除目录和文件(tmp下原有的其他用户创建的文件及文件夹则不能访问)。

技术分享

二:默认权限

     我们在这个权限下只能操作tmp目录,如下,其他的目录不能操作。

技术分享

  右键tmp,新建目录test-1,刷新。

技术分享

  结果如下

技术分享

  右键test-1,上传文件test.txt到DFS

技术分享

  其他现有目录就没法向上面那样操作成功了

三:增加环境变量

  在环境变量用增加两个环境变量:

  HADOOP_HOME

    D:\\02.Code\\hadoop-2.7.1

技术分享

  HADOOP_USER_NAME

    hdfs

技术分享

四:Eclipse插件

  重启Eclipse,然后我们可以对tmp外其他目录进行操作,我们也可以在根目录下新建新的目录。

点击根目录,新建test-1,刷新

技术分享

  结果。

技术分享

 

五:Kettle

   新建一个转换,在Hadoop clusters中新建一个集群h188

技术分享

  点击测试,我们可以看到User Home Directory Access是红叉

  说明是不能访问的。

技术分享  

  我们设置了环境变量后。

  再点测试,发现可以访问了。

技术分享

 

--------------------------------------------------------------------

  到此,本章节的内容讲述完毕。

系列索引

  Hadoop技巧系列索引

 

 

 

 

本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。

文章是哥(mephisto)写的,SourceLink

以上是关于Hadoop技巧(01):插件,终端权限的主要内容,如果未能解决你的问题,请参考以下文章

从 PHP 服务器执行 hadoop jar 失败。没有权限

第五周之Hadoop学习

HDFS_01_Hadoop简介

01 hadoop入门

记录遇到的一些Hadoop—Mapreduc相关的问题

Hadoop技术之Apache Hadoop集群搭建