hadoop hue配置文件怎样设置加密密码

Posted 2023-03-27

ue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job等等。很早以前就听说过Hue的便利与强大，一直没能亲自尝试使用，下面先通过官网给出的特性，通过翻译原文简单了解一下Hue所支持的功能特性集合：

默认基于轻量级sqlite数据库管理会话数据，用户认证和授权，可以自定义为mysql、Postgresql，以及Oracle
基于文件浏览器（File Browser）访问HDFS
基于Hive编辑器来开发和运行Hive查询
支持基于Solr进行搜索的应用，并提供可视化的数据视图，以及仪表板（Dashboard）
支持基于Impala的应用进行交互式查询
支持Spark编辑器和仪表板（Dashboard）
支持Pig编辑器，并能够提交脚本任务
支持Oozie编辑器，可以通过仪表板提交和监控Workflow、Coordinator和Bundle
支持HBase浏览器，能够可视化数据、查询数据、修改HBase表
支持Metastore浏览器，可以访问Hive的元数据，以及HCatalog
支持Job浏览器，能够访问MapReduce Job（MR1/MR2-YARN）
支持Job设计器，能够创建MapReduce/Streaming/Java Job
支持Sqoop 2编辑器和仪表板（Dashboard）
支持ZooKeeper浏览器和编辑器
支持MySql、PostGresql、Sqlite和Oracle数据库查询编辑器
1 Hue安装（参考官网：http://gethue.com/how-to-build-hue-on-ubuntu-14-04-trusty/）
1.1 在git上下载HUE源码或者在它的官网下载（如果已经安装git可省略第一步）
sudo apt-get install git

git clone https://github.com/cloudera/hue.git
1.2 需要安装一些依赖的软件包
官网给出了一些，如果环境不一样，灵活调整，GIT上面给出的依赖文件列表： 参考技术A 7 作品评价

HUE配置hadoop

 

HDFS配置

参考文档：http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.0/manual.html

 

Hadoop配置文件修改

hdfs-site.xml

<property>

  <name>dfs.webhdfs.enabled</name>

  <value>true</value>

</property>

core-site.html

<property>

  <name>hadoop.proxyuser.hue.hosts</name>

  <value>*</value>

</property>

<property>

  <name>hadoop.proxyuser.hue.groups</name>

  <value>*</value>

</property>

 

HUE配置文件修改

[[hdfs_clusters]] [[[default]]]

fs_defaultfs=hdfs://mycluster

webhdfs_url=http://node1:50070/webhdfs/v1

hadoop_bin=/usr/hadoop-2.5.1/bin

hadoop_conf_dir=/usr/hadoop-2.5.1/etc/hadoop

启动hdfs、重启hue

 

访问Web

 

解决方法：

修改默认的hdfs访问用户

修改hue.ini中的配置

default_hdfs_superuser=hdfs

改为

default_hdfs_superuser=root

重启hue

 

可以通过HUE的 文件浏览器 来操作hdfs的文件，进行增、删、改、查等操作。

但是修改文件内容是出现异常，查看日志文件：

 

解决方法：

1、 关闭hdfs的权限验证

hdfs-site.xml

<property>

          <name>dfs.permissions.enabled</name>

    <value>false</value>

</property>

需要重启hdfs和hue

2、 在hue中创建root用户，并以root用户登录hue。

 

Yarn配置

HUE配置文件修改

[[yarn_clusters]] [[[default]]]

resourcemanager_host=node1

resourcemanager_port=8032

submit_to=True

resourcemanager_api_url=http://node1:8088

重启HUE服务

运行workcout程序进行测试

hadoop jar /usr/hadoop-2.5.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar wordcount /test/wc/input /out1