大数据框架 | Hue与软件的集成

Posted 黑马程序员官方

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据框架 | Hue与软件的集成相关的知识,希望对你有一定的参考价值。

一、Hue集成HDFS

注意修改完HDFS相关配置后,需要把配置scp给集群中每台机器,重启hdfs集群。

1.1 修改core-site.xml配置

 1.2 修改hdfs-site.xml配置

1.3.修改hue.ini 

cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf

vim hue.ini

 1.4.重启HDFS、Hue

start-dfs.sh

cd /export/servers/hue-3.9.0-cdh5.14.0/

build/env/bin/supervisor

 二、Hue集成YARN

2.1 修改hue.ini

2.2.开启yarn日志聚集服务

MapReduce 是在各个机器上运行的, 在运行过程中产生的日志存在于各个机器上,为了能够统一查看各个机器的运行日志,将日志集中存放在 HDFS 上, 这个过程就是日志聚集。

 2.3.重启Yarn、Hue

三、Hue集成Hive 

如果需要配置hue与hive的集成,我们需要启动hive的metastore服务以及hiveserver2服务(impala需要hive的metastore服务,hue需要hvie的hiveserver2服务)。

3.1.修改Hue.ini

 3.2.启动Hive服务、重启hue

去node-1机器上启动hive的metastore以及hiveserver2服务

cd /export/servers/hive

nohup bin/hive --service metastore &

nohup bin/hive --service hiveserver2 &

重新启动hue。 

cd /export/servers/hue-3.9.0-cdh5.14.0/

build/env/bin/supervisor

 

 

四、Hue集成mysql 

4.1.修改hue.ini

需要把mysql的注释给去掉。 大概位于1546行

 4.2.重启hue

cd /export/servers/hue-3.9.0-cdh5.14.0/

build/env/bin/supervisor

五、Hue集成Oozie

5.1.修改hue配置文件hue.ini 

 

 5.2 启动hue、oozie

启动hue进程

cd /export/servers/hue-3.9.0-cdh5.14.0

build/env/bin/supervisor

启动oozie进程

cd /export/servers/oozie-4.1.0-cdh5.14.0

bin/oozied.sh start

页面访问hue

http://node-1:8888/

5.3 使用hue配置oozie调度

hue提供了页面鼠标拖拽的方式配置oozie调度

5.4.利用hue调度shell脚本

在HDFS上创建一个shell脚本程序文件。

 

 

打开工作流调度页面。

 

 

 

 

5.5.利用hue调度hive脚本 

在HDFS上创建一个hive sql脚本程序文件。

 打开workflow页面,拖拽hive2图标到指定位置。

 

 5.6.利用hue调度MapReduce程序

利用hue提交MapReduce程序

 

5.7.利用Hue配置定时调度任务 

在hue中,也可以针对workflow配置定时调度任务,具体操作如下:

 

一定要注意时区的问题,否则调度就出错了。保存之后就可以提交定时任务。

 点击进去,可以看到定时任务的详细信息。

 六、Hue集成Hbase 

6.1.修改hbase配置

在hbase-site.xml配置文件中的添加如下内容,开启hbase thrift服务。修改完成之后scp给其他机器上hbase安装包。

6.2.修改hadoop配置

在core-site.xml中确保 HBase被授权代理,添加下面内容。

把修改之后的配置文件scp给其他机器和hbase安装包conf目录下。 

6.3.修改Hue配置 

 

6.4.启动hbase(包括thrift服务)、hue 

需要启动hdfs和hbase,然后再启动thrift。

start-dfs.sh

start-hbase.sh

hbase-daemon.sh start thrift

重新启动hue。 

cd /export/servers/hue-3.9.0-cdh5.14.0/

build/env/bin/supervisor

七、Hue集成Impala 

7.1.修改Hue.ini

7.2.重启Hue 

cd /export/servers/hue-3.9.0-cdh5.14.0/

build/env/bin/supervisor

 

以上是关于大数据框架 | Hue与软件的集成的主要内容,如果未能解决你的问题,请参考以下文章

新闻实时分析系统Hive与HBase集成进行数据分析 Cloudera HUE大数据可视化分析

hbase 表的设计与其它大数据框架的集成

修真大数据协作框架Sqoop+Flume+Oozie+Hue(59讲)

大数据框架Hue架构介绍及安装教程

Cloudera HUE大数据可视化分析

hue框架介绍和安装部署