Hue

Posted 2020-08-22 天戈朱

      Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据. Hue在数据库方面，默认使用的是SQLite数据库来管理自身的数据，包括用户认证和授权，另外，可以自定义为mysql数据库、Postgresql数据库、以及Oracle数据库

目录：

• 功能介绍  （演示地址： http://gethue.com/)
• 安装部署
• Azure 安装CDH

功能介绍

---

• 对HDFS的访问，通过浏览器来查阅HDFS的数据
• Hive编辑器：可以编写HQL和运行HQL脚本，以及查看运行结果等相关Hive功能
• 提供Solr搜索应用，并对应相应的可视化数据视图以及DashBoard
• 提供Impala的应用进行数据交互查询
• 最新的版本集成了Spark编辑器和DashBoard
• 支持Pig编辑器，并能够运行编写的脚本任务
• Oozie调度器，可以通过DashBoard来提交和监控Workflow、Coordinator以及Bundle
• 支持HBase对数据的查询修改以及可视化
• 支持对Metastore的浏览，可以访问Hive的元数据以及对应的HCatalog
• 对Job的支持，Sqoop，ZooKeeper等的支持

安装部署

---

• 安装配置过程参见：http://cloudera.github.io/hue/docs-3.6.0/manual.html
• hue支持广，依赖多，系统环境有所缺失安装就比较麻烦，如make时会自建一个虚拟的运行环境，导致与系统默认有所偏差，造成编译安装过程遇到一些问题
• 最简单的安装方式当然是使用CDH的RPM包，但是就要用到CDH的一整套集群环境，毕竟这在已有集群的情况下不太合理，可行性低

Azure 安装CDH

---

1. Go to https://ms.portal.azure.com
2. Click on resource groups on the left navigation bar
   • 
3. Enter a name for your resource group, pick the subscription and availability region and click on “create”.This will create a resource group that we will use in the cluster setup
   • 
4. Click on “New”, then on “Data + Analytics” and then on “Cloudera Enterprise Data Hub”
   • 
5. In the blade that opens up, under “Select deployment model”, click on “Resource Manager”, the click “Create”
   • 
6. In the blade that opens, click on “Basics, Configure basic settings”;  Here, enter the following: User name (Linux user)\\password....

• • 
• Next, click on “Inftrastructure information”;  See screenshot below for where you can customize, and where to leave defaults.
  • 
• Next, click on “Cloudera setup information”;  Here, enter the following:  Cloudera Manager User Name \\ Password \\ Cluster Type (two options – POC and Production) \\ Number of data nodes
• Click on user information, enter some details about yourself.
• Click on “Buy” and then create.  This will provision the cluster.
•  Step away for a long break; At the time this post was written, it took more than an hour.  You can monitor the progress from the portal.

Nodes and Roles

---

• In the setup, we entered 3 data nodes, and selected Production,The following are the nodes and the roles running on them:
• 
• 
• 

Connecting to the cluster

---

•