大数据框架Hue架构介绍及安装教程

Posted 黑马程序员官方

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据框架Hue架构介绍及安装教程相关的知识,希望对你有一定的参考价值。

一、Apache Hue介绍

1.Hue是什么

HUE=Hadoop User Experience

Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。

通过使用Hue,可以在浏览器端的Web控制台上与Hadoop集群进行交互,来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job,执行Hive的SQL语句,浏览HBase数据库等等。

2. Hue能做什么

访问HDFS和文件浏览

通过web调试和开发hive以及数据结果展示

查询solr和结果展示,报表生成

通过web调试和开发impala交互式SQL Query

spark调试和开发

Pig开发和调试

oozie任务的开发,监控,和工作流协调调度

Hbase数据查询和修改,数据展示

Hive的元数据(metastore)查询

MapReduce任务进度查看,日志追踪

创建和提交MapReduce,Streaming,Java job任务

Sqoop2的开发和调试

Zookeeper的浏览和编辑

数据库(mysql,PostGres,SQlite,Oracle)的查询和展示

3. Hue的架构

Hue是一个友好的界面集成框架,可以集成各种大量的大数据体系软件框架,通过一个界面就可以做到查看以及执行所有的框架。

Hue提供的这些功能相比Hadoop生态各组件提供的界面更加友好,但是一些需要debug的场景可能还是要使用原生系统才能更加深入的找到错误的原因。

二、Hue的安装

1. 上传解压安装包

Hue的安装支持多种方式,包括rpm包的方式进行安装、tar.gz包的方式进行安装以及cloudera  manager的方式来进行安装等,我们这里使用tar.gz的方式来进行安装。

Hue的压缩包的下载地址:

http://archive.cloudera.com/cdh5/cdh/5/

我们这里使用的是CDH5.14.0这个对应的版本,具体下载地址为

http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0.tar.gz

cd /export/servers/

tar -zxvf hue-3.9.0-cdh5.14.0.tar.gz

2. 编译初始化工作

2.1.联网安装各种必须的依赖包

2.2 Hue初始化配置 

2.3.创建mysql中Hue使用的DB 

3.编译Hue 

 4.启动Hue、Web UI访问

页面访问路径:

http://node-1:8888

第一次访问的时候,需要设置超级管理员用户和密码。记住它。

  若想关闭Hue ,直接在窗口ctrl+c即可。

以上是关于大数据框架Hue架构介绍及安装教程的主要内容,如果未能解决你的问题,请参考以下文章

大数据 hue 安装配置与其它框架的集成

Cloudera HUE大数据可视化分析

hue/ oozie/ sqoop/ kafka/ zookeeper/ flume 简介及cdh安装简介

大数据web管理工具——HUE

大数据环境搭建- cdh5.11.1 - hue安装

oschina大数据开源软件