新闻实时分析系统Hive与HBase集成进行数据分析 Cloudera HUE大数据可视化分析

Posted 2022-01-20 misliu

1.Hue 概述及版本下载

1）概述

Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job等等。

2）下载

CDH版本下载

官网下载

2.编译安装

1）解压

tar -zxf hue-3.9.0-cdh5.5.0.tar.gz -C /opt/modules/

2）安装依赖包

 

依赖包参考此连接。

3）编译

cd hue-3.9.0-cdh5.5.0

make apps

3.Hue 基本配置与服务启动

1）修改配置文件

cd desktop

cd conf

vi hue.ini

#秘钥

secret_key=jFE93j;2[290-eiw.KEiwN2s3[‘d;/.q[eIW^y#e=+Iei*@Mn < qW5o

#host port

http_host=bigdata-pro03.kfk.com

http_port=8888

#时区

time_zone=Asia/Shanghai

2）修改desktop.db 文件权限

chmod o+w desktop/desktop.db

3）启动Hue服务

/opt/modules/hue-3.9.0-cdh5.5.0/build/env/bin/supervisor

4）查看Hue web界面

bigdata-pro03.kfk.com:8888

4.Hue与HDFS集成

1）修改core-site.xml配置文件，添加如下内容

<property>

    <name>hadoop.proxyuser.hue.hosts</name>

    <value>*</value>

</property>

<property>

    <name>hadoop.proxyuser.hue.groups</name>

    <value>*</value>

</property>

2）修改hue.ini配置文件

fs_defaultfs=hdfs://ns

webhdfs_url=http://bigdata-pro01.kfk.com:50070/webhdfs/v1

hadoop_hdfs_home=/opt/modules/hadoop-2.5.0

hadoop_bin=/opt/modules/hadoop-2.5.0/bin

hadoop_conf_dir=/opt/modules/hadoop-2.5.0/etc/hadoop

3）将core-site.xml配置文件分发到其他节点

scp core-site.xml bigdata-pro02.kfk.com:/opt/modules/hadoop-2.5.0/etc/hadoop

scp core-site.xml bigdata-pro01.kfk.com:/opt/modules/hadoop-2.5.0/etc/hadoop

4）重新启动hue

/opt/modules/hue-3.9.0-cdh5.5.0/build/env/bin/supervisor

5.Hue与YARN集成

1）修改hue.ini配置文件

resourcemanager_host=rs

resourcemanager_port=8032

submit_to=true

resourcemanager_api_url=http://bigdata-pro01.kfk.com:8088

proxy_api_url=http://bigdata-pro01.kfk.com:8088

history_server_api_url=http://bigdata-pro01.kfk.com:19888

2）重新启动hue

/opt/modules/hue-3.9.0-cdh5.5.0/build/env/bin/supervisor

5.Hue与Hive集成

1）修改hue.ini配置文件

hive_server_host=bigdata-pro03.kfk.com

hive_server_port=10000

hive_conf_dir=/opt/modules/hive-0.13.1-bin/conf

2）重新启动hue

/opt/modules/hue-3.9.0-cdh5.5.0/build/env/bin/supervisor

6.Hue与mysql集成

1）修改hue.ini配置文件

nice_name="My SQL DB"

name=metastore

engine=mysql

host=bigdata-pro01.kfk.com

port=3306

user=root

password=123456

2）重新启动hue

/opt/modules/hue-3.9.0-cdh5.5.0/build/env/bin/supervisor

7.Hue与HBase集成

1）修改hue.ini配置文件

hbase_clusters=(Cluster|bigdata-pro01.kfk.com:9090)

hbase_conf_dir=/opt/modules/hbase-0.98.6-cdh5.3.0/conf

2）HBase中启动thrift服务

bin/hbase-daemon.sh start thrift

7.Hue使用注意事项

1）hive 启动使用后台启动

nohup bin/hiveserver2 &

2）hue使用稳定版本:hue-3.7.0-cdh5.3.6