Hue协作框架
Posted 曹军
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hue协作框架相关的知识,希望对你有一定的参考价值。
一:介绍
1.官网
官网:http://gethue.com/
下载:http://archive.cloudera.com/cdh5/cdh/5/,只能在这里下载,不是Apache的
手册:http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/manual.html
2.支持的框架
-》job
-》yarn
-》mr1
-》oozie
-》HDFS
-》查文件
-》文件的管理
-》增删改查
-》hive
-》rdbms
截图:
3.注意
hue必须重新编译,因为对于每个linux环境不同。
二:安装
1.下载hue包
2.需要安装的依赖
3.检测依赖
4.安装依赖包
sudo yum install ant asciidoc cyrus-sasl-devel libtidy libxml2-devel libxslt-devel mvn mysql-devel openldap-devel python-devel sqlite-devel -y
5.卸载openjdk
6.编译
进入家目录,make apps
7.配置hue.int
路径是:desktop/conf
所有的配置都是以中括号进行标记。
8.启动
9.访问web ui
http://linux-hadoop3.ibeifeng.com:8888/
10.创建hue的root用户
建议使用HDFS的账户,以后可以跳过权限检查。
11.进入主界面
三:hue与其他框架的集成
四:与HDFS的集成(修改hadoop和hue的配置)
1.修改hdfs-site
2.修改core-site的代理
3.重启hdfs
4.配置hue中的hdfs
5.重启hue
6.效果
五:配置yarn
1.只需要配置hue.ini
2.重启hue
3.检测效果
六:hive的集成
1.hive的三种链接方式
比较重要的一种是远程链接metastore
2.远程链接metastore
配置hive-site
但是,每次配置了这个,都需要在开启hive之前开启服务
bin/hive --service metastore &
3.集成hive
4.hive只需要开启hiveserver2
5.在hive-site中可以修改的项
在hive的默认端口是10000,协议是tcp。但是可以修改为http,同时修改对应的端口是10001.
<property>
<name>hive.server2.transport.mode</name>
<value>http</value>
<description>Server transport mode. "binary" or "http".</description>
</property>
在链接hiveserver中,有时出现链接超时,可以修改一下的配置,可以避免这种情况。
<property>
<name>hive.server2.long.polling.timeout</name>
<value>5000</value>
<description>Time in milliseconds that HiveServer2 will wait, before responding to asynchronous calls that use long polling</description>
</property>
6.开启hiveserver2
bin/hiveserver2
7.修改hue.ini
8.重启hue
9.检测效果
七:集成RDMS
1.配置sqlite
启动标记对。
数据库显示名称,数据库的位置,引擎
2.查看效果
3.配置mysql
数据库的位置不给,说明加载所有的数据库。
4.启动hue
5.查看效果
八:与oozie的集成
1.修改oozie的文件
原本是${user.name},现在改成oozie。
2.重新创建share lib
bin/oozie-setup.sh sharelib create -fs hdfs://linux-hadoop3.ibeifeng.com:8020 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz
3.启动oozie
4.修改hue下 的oozie配置
5.重启
6.查看效果
以上是关于Hue协作框架的主要内容,如果未能解决你的问题,请参考以下文章