55.HUE管理工具

Posted 2020-09-27

HUE管理工具

HUE是一个开源的Hadoop Ul系统，它基于Python WEB框架实现，通过HUE我们可以在浏览端的WEB控制台上与Hadoop群集进行交互分析处理数据。

部署安装HUE3.11步骤：

v 安装相关依赖包

# yum -y install python-devel cyrus-sasl-devel sqlite-devel libxml2-devel libxml2-devel libxslt-devel krb5-devel libffi-devel openssl-devel openldap-devel mariadb-server mariadb-devel gmp-devel

v 开始安装

# tar xzvf hue-3.11.0.tgz

# cd hue-3.11.0

#PREFIX=/usr/local/hue make install

v 创建运行用户和授权目录

# useradd hue

# chown -R hue.hue /usr/local/hue/

v 关联Hadoop

#vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml   HDFS站点配置文件

添加内容：

<property>

<name>dfs.webhdfs.enable</name> <!--开启HDFS的WEB功能-->

<value>true</value>

</property>

#vim /usr/local/hadoop/etc/hadoop/core-site.xml   hadoop核心配置文件

添加内容：

<property>

<name>hadoop.proxyuser.hue.hosts</name>  <!--允许所有主机使用hue用户管理HDFS-->

<value>*</value>

</property>

<property>

<name>hadoop.proxyuser.hue.groups</name> <!--允许所有主机使用hue用户组管理HDFS-->

<value>*</value>

</property>

#vim /usr/local/hadoop/etc/hadoop/httpfs-site.xml  HTTPFS服务器配置文件

添加内容：

<property>

<name>httpfs.proxyuser.hue.hosts</name> <!--允许所有主机使用hue用户管理HDFS-->

<value>*</value>

</property>

<property>

<name>httpfs.proxyuser.hue.groups</name> <!--允许所有主机使用hue用户组管理HDFS-->

<value>*</value>

</property>

 

 

 

 

v 配置HUE

# vim /usr/local/hue/hue/desktop/conf/hue.ini           HUE主配置文件

修改内容：

[desktop]

secret_key= <!--保持会话项，建议指定一个值ABC123-->

## secret_key_script= <!--会话脚本-->

http_host=0.0.0.0 <!--WEB地址-->

http_port=8888 <!--WEB端口号-->

time_zone=America/Los_Angeles <!--设置时区，建议Asia/Shanghai-->

[hadoop]                              配置HDFS

  [[hdfs_clusters]]

    [[[default]]]

      fs_defaultfs=hdfs://master:9000 <!--为核心文件中fs.defaults的值-->

      ## logical_name= <!--HDFS的群集名-->

      ## webhdfs_url=http://localhost:14000/webhdfs/v1 <!--HttpFS服务的IP-->

      ## security_enabled=false <!--允许不合法的安全管理开关-->

      ## ssl_cert_ca_verify=True <!--开启SSL认证-->

      ## hadoop_conf_dir=/usr/local/hadoop/conf/hadoop <!--本地hadoop配置文件路径-->

[[yarn_clusters]]                         配置yarn

    [[[default]]]

      ## resourcemanager_host=localhost <!--resourcemanager主机地址-->

      ## resourcemanager_port=8032 <!--resourcemanager的端口-->

      ## logical_name= <!--HDFS群集名-->

      ## resourcemanager_api_url=http://localhost:8088 <!--resourcemanager的伪IP-->

[hbase]                                配置Hbase

## hbase_clusters=(Cluster|localhost:9090) <!--Hbase的地址和端口-->

## hbase_conf_dir=/etc/hbase/conf <!--Hbase的配置目录-->

## truncate_limit = 500 <!--截断限制时间-->

## thrift_transport=buffered <!--HUE3.11只支持Hbase Thriftserver的传输端口-->

[beeswax]                              配置HiVE

## hive_server_host=localhost <!--HiVE的主机名-->

## hive_server_port=10000 <!--HiVE的端口-->

## hive_conf_dir=/etc/hive/conf <!--HiVE的配置文件目录-->

## server_conn_timeout=120 <!--连接时间-->

 

开启服务

#su hue

$ /usr/local/hue/hue/build/env/bin/supervisor &

#su root

#netstat -lnupt |grep 8888

通过WEB访问

浏览器输入：http：localhost：8888即可访问

 

故障解析：

地址重复问题：

错误提示：socket.error: [Errno 98] Address already in use

Core-site.xml和httpfs-site.xml配置问题：

Error日志：

Failed to obtain user group information:

org.apache.hadoop.security.authorize.AuthorizationException