大数据框架 | Hue与软件的集成
Posted 黑马程序员官方
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据框架 | Hue与软件的集成相关的知识,希望对你有一定的参考价值。
一、Hue集成HDFS
注意修改完HDFS相关配置后,需要把配置scp给集群中每台机器,重启hdfs集群。
1.1 修改core-site.xml配置
1.2 修改hdfs-site.xml配置
1.3.修改hue.ini
cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf
vim hue.ini
1.4.重启HDFS、Hue
start-dfs.sh
cd /export/servers/hue-3.9.0-cdh5.14.0/
build/env/bin/supervisor
二、Hue集成YARN
2.1 修改hue.ini
2.2.开启yarn日志聚集服务
MapReduce 是在各个机器上运行的, 在运行过程中产生的日志存在于各个机器上,为了能够统一查看各个机器的运行日志,将日志集中存放在 HDFS 上, 这个过程就是日志聚集。
2.3.重启Yarn、Hue
三、Hue集成Hive
如果需要配置hue与hive的集成,我们需要启动hive的metastore服务以及hiveserver2服务(impala需要hive的metastore服务,hue需要hvie的hiveserver2服务)。
3.1.修改Hue.ini
3.2.启动Hive服务、重启hue
去node-1机器上启动hive的metastore以及hiveserver2服务
cd /export/servers/hive
nohup bin/hive --service metastore &
nohup bin/hive --service hiveserver2 &
重新启动hue。
cd /export/servers/hue-3.9.0-cdh5.14.0/
build/env/bin/supervisor
四、Hue集成mysql
4.1.修改hue.ini
需要把mysql的注释给去掉。 大概位于1546行
4.2.重启hue
cd /export/servers/hue-3.9.0-cdh5.14.0/
build/env/bin/supervisor
五、Hue集成Oozie
5.1.修改hue配置文件hue.ini
5.2 启动hue、oozie
启动hue进程
cd /export/servers/hue-3.9.0-cdh5.14.0
build/env/bin/supervisor
启动oozie进程
cd /export/servers/oozie-4.1.0-cdh5.14.0
bin/oozied.sh start
页面访问hue
5.3 使用hue配置oozie调度
hue提供了页面鼠标拖拽的方式配置oozie调度
5.4.利用hue调度shell脚本
在HDFS上创建一个shell脚本程序文件。
打开工作流调度页面。
5.5.利用hue调度hive脚本
在HDFS上创建一个hive sql脚本程序文件。
打开workflow页面,拖拽hive2图标到指定位置。
5.6.利用hue调度MapReduce程序
利用hue提交MapReduce程序
5.7.利用Hue配置定时调度任务
在hue中,也可以针对workflow配置定时调度任务,具体操作如下:
一定要注意时区的问题,否则调度就出错了。保存之后就可以提交定时任务。
点击进去,可以看到定时任务的详细信息。
六、Hue集成Hbase
6.1.修改hbase配置
在hbase-site.xml配置文件中的添加如下内容,开启hbase thrift服务。修改完成之后scp给其他机器上hbase安装包。
6.2.修改hadoop配置
在core-site.xml中确保 HBase被授权代理,添加下面内容。
把修改之后的配置文件scp给其他机器和hbase安装包conf目录下。
6.3.修改Hue配置
6.4.启动hbase(包括thrift服务)、hue
需要启动hdfs和hbase,然后再启动thrift。
start-dfs.sh
start-hbase.sh
hbase-daemon.sh start thrift
重新启动hue。
cd /export/servers/hue-3.9.0-cdh5.14.0/
build/env/bin/supervisor
七、Hue集成Impala
7.1.修改Hue.ini
7.2.重启Hue
cd /export/servers/hue-3.9.0-cdh5.14.0/
build/env/bin/supervisor
以上是关于大数据框架 | Hue与软件的集成的主要内容,如果未能解决你的问题,请参考以下文章
新闻实时分析系统Hive与HBase集成进行数据分析 Cloudera HUE大数据可视化分析