Hue

Posted 天戈朱

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hue相关的知识,希望对你有一定的参考价值。

      Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据. Hue在数据库方面,默认使用的是SQLite数据库来管理自身的数据,包括用户认证和授权,另外,可以自定义为mysql数据库、Postgresql数据库、以及Oracle数据库

目录:

功能介绍


  • HDFS的访问,通过浏览器来查阅HDFS的数据
  • Hive编辑器:可以编写HQL和运行HQL脚本,以及查看运行结果等相关Hive功能
  • 提供Solr搜索应用,并对应相应的可视化数据视图以及DashBoard
  • 提供Impala的应用进行数据交互查询
  • 最新的版本集成了Spark编辑器和DashBoard
  • 支持Pig编辑器,并能够运行编写的脚本任务
  • Oozie调度器,可以通过DashBoard来提交和监控Workflow、Coordinator以及Bundle
  • 支持HBase对数据的查询修改以及可视化
  • 支持对Metastore的浏览,可以访问Hive的元数据以及对应的HCatalog
  • 对Job的支持,Sqoop,ZooKeeper等的支持

安装部署


  • 安装配置过程参见:http://cloudera.github.io/hue/docs-3.6.0/manual.html
  • hue支持广,依赖多,系统环境有所缺失安装就比较麻烦,如make时会自建一个虚拟的运行环境,导致与系统默认有所偏差,造成编译安装过程遇到一些问题
  • 最简单的安装方式当然是使用CDH的RPM包,但是就要用到CDH的一整套集群环境,毕竟这在已有集群的情况下不太合理,可行性低

Azure 安装CDH


  1. Go to https://ms.portal.azure.com
  2. Click on resource groups on the left navigation bar
  3. Enter a name for your resource group, pick the subscription and availability region and click on “create”.This will create a resource group that we will use in the cluster setup
  4. Click on “New”, then on “Data + Analytics” and then on “Cloudera Enterprise Data Hub”
  5. In the blade that opens up, under “Select deployment model”, click on “Resource Manager”, the click “Create”
  6. In the blade that opens, click on “Basics, Configure basic settings”;  Here, enter the following: User name (Linux user)\\password....
  • Next, click on “Inftrastructure information”;  See screenshot below for where you can customize, and where to leave defaults.
  • Next, click on “Cloudera setup information”;  Here, enter the following:  Cloudera Manager User Name \\ Password \\ Cluster Type (two options – POC and Production) \\ Number of data nodes
  • Click on user information, enter some details about yourself.
  • Click on “Buy” and then create.  This will provision the cluster.
  •  Step away for a long break; At the time this post was written, it took more than an hour.  You can monitor the progress from the portal.

Nodes and Roles


  • In the setup, we entered 3 data nodes, and selected Production,The following are the nodes and the roles running on them:

Connecting to the cluster


 

 

 

以上是关于Hue的主要内容,如果未能解决你的问题,请参考以下文章

客快物流大数据项目(三十九):Hue安装

hue框架介绍和安装部署

客快物流大数据项目(七十八):Hue简介

第一章 Hue的安装

Hue安装部署

hue耗流量优化