Hue协作框架

Posted 曹军

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hue协作框架相关的知识,希望对你有一定的参考价值。

一:介绍

1.官网

  官网:http://gethue.com/

    

  下载:http://archive.cloudera.com/cdh5/cdh/5/,只能在这里下载,不是Apache的

  手册:http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/manual.html

  

 

2.支持的框架

  -》job

    -》yarn
    -》mr1
  -》oozie
  -》HDFS
    -》查文件
    -》文件的管理
    -》增删改查
  -》hive
  -》rdbms

  截图:

  

 

 

3.注意

  hue必须重新编译,因为对于每个linux环境不同。

 

二:安装

1.下载hue包

  

 

2.需要安装的依赖

  

 

3.检测依赖

  

4.安装依赖包

  sudo yum install ant asciidoc cyrus-sasl-devel  libtidy   libxml2-devel  libxslt-devel mvn mysql-devel openldap-devel python-devel sqlite-devel -y

 

5.卸载openjdk

  

 

6.编译

  进入家目录,make apps

  

 

 7.配置hue.int

  路径是:desktop/conf

  所有的配置都是以中括号进行标记。

  

 

8.启动

  

 

9.访问web ui

  http://linux-hadoop3.ibeifeng.com:8888/

 

10.创建hue的root用户

  建议使用HDFS的账户,以后可以跳过权限检查。

  

11.进入主界面

  

 

三:hue与其他框架的集成

 

四:与HDFS的集成(修改hadoop和hue的配置)

1.修改hdfs-site

  

 

2.修改core-site的代理

  

 

3.重启hdfs

  

4.配置hue中的hdfs

  

 

5.重启hue

  

6.效果

  

 

 五:配置yarn

1.只需要配置hue.ini

  

2.重启hue

  

3.检测效果

  

 

六:hive的集成

1.hive的三种链接方式

  比较重要的一种是远程链接metastore

 

2.远程链接metastore

  配置hive-site

  

  但是,每次配置了这个,都需要在开启hive之前开启服务

    bin/hive --service metastore &

 

3.集成hive

 

4.hive只需要开启hiveserver2

  

 

  

5.在hive-site中可以修改的项

  在hive的默认端口是10000,协议是tcp。但是可以修改为http,同时修改对应的端口是10001.

    <property>

      <name>hive.server2.transport.mode</name>
      <value>http</value>
      <description>Server transport mode. "binary" or "http".</description>
    </property>

  

 

  在链接hiveserver中,有时出现链接超时,可以修改一下的配置,可以避免这种情况。

     <property>

      <name>hive.server2.long.polling.timeout</name>
      <value>5000</value>
      <description>Time in milliseconds that HiveServer2 will wait, before responding to asynchronous calls that use long polling</description>
    </property>

 

6.开启hiveserver2

  bin/hiveserver2

 

7.修改hue.ini

  

 

8.重启hue

 

9.检测效果

  

 

七:集成RDMS

1.配置sqlite

  启动标记对。

  数据库显示名称,数据库的位置,引擎

  

 

2.查看效果

  

 

3.配置mysql

  数据库的位置不给,说明加载所有的数据库。

  

 

4.启动hue

  

5.查看效果

  

 

 八:与oozie的集成

1.修改oozie的文件

  原本是${user.name},现在改成oozie。

  

 

2.重新创建share lib

  bin/oozie-setup.sh sharelib create -fs hdfs://linux-hadoop3.ibeifeng.com:8020 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz

   

 

 3.启动oozie

 

4.修改hue下 的oozie配置

  

 

5.重启

 

6.查看效果

  

 

  

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

以上是关于Hue协作框架的主要内容,如果未能解决你的问题,请参考以下文章

修真大数据协作框架Sqoop+Flume+Oozie+Hue(59讲)

Sqoop框架基础

hue框架介绍和安装部署

大数据 hue 安装配置与其它框架的集成

大数据框架Hue架构介绍及安装教程

大数据框架 | Hue与软件的集成