centos 安装hue 4.0

Posted 2020-10-04 三多

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了centos 安装hue 4.0相关的知识，希望对你有一定的参考价值。

Hue是Cloudera开源的一个Hadoop UI，由Cloudera Desktop演化而来。面向用户提供方便的UI用于平时的Hadoop操作中。Apache Ambari面向的是管理员，用于安装、维护集群，而不是使用集群。两者针对的是不同需求。

Hue安装：

官网教程：http://gethue.com/hadoop-hue-3-on-hdp-installation-tutorial/

依赖安装：

sudo yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel  gmp-devel openssl-devel  

（不同环境的依赖包参考这里）

JDK安装

这里必须安装oracle JDK（具体参考这里）

Maven和Ant安装

Hue的安装过程需要依赖于Maven和Ant，按常规方法安装Maven和Ant，配置MAVEN_HOME,ANT_HOME，并将bin目录加入PATH。具体步骤略。

MAV（apache-maven 或者 maven3 tarball ）这里安装的是apache-maven

sudo wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo
 
sudo sed -i s/\\$releasever/6/g /etc/yum.repos.d/epel-apache-maven.repo
 
sudo yum install -y apache-maven
 
mvn --version

如果网络带宽足够可以略过此步骤，这里配置maven更新源，主要使用的是阿里的源

# 配置文件所在的位置是/etc/maven/settings.xml
<mirrors>
     <mirror>
         <id>alimaven</id>
         <mirrorOf>central</mirrorOf>
         <name>aliyun maven</name>
         <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
     </mirror>
 
     <mirror>
         <id>ui</id>
         <mirrorOf>central</mirrorOf>
         <name>Human Readable Name for this Mirror.</name>
         <url>http://uk.maven.org/maven2/</url>
     </mirror>
 
     <mirror>
         <id>jboss-public-repository-group</id>
         <mirrorOf>central</mirrorOf>
         <name>JBoss Public Repository Group</name>
         <url>http://repository.jboss.org/nexus/content/groups/public</url>
     </mirror>
 </mirrors>

可以从本地导入hue安装包，也可以直接使用wget下载，wget需要sudo权限

下载安装hue

sudo wget https://dl.dropboxusercontent.com/u/730827/hue/releases/4.0.1/hue-4.0.1.tgz

tar zxvf hue-4.0.1.tgz

cd hue-4.0.1.tgz

#安装

make apps

如果编译出现问题，需要重新clean，再编译

make clean
make apps

配置Hue

Hue的配置集中在$HUE_HOME/desktop/conf/hue.ini文件，针对不同的Hadoop组件分段配置。详细配置文件参考这里。下面是我的配置示例：

注意，这里设置的主机的域名为master，配置时需要根据实际情况进行配置

Hue

secret_key=jFE93j;2[290-eiw.KEiwN2s3[\'d;/.q[eIW^y#e=+Iei*@Mn<qW5o
http_host=0.0.0.0
http_port=8888
server_user=hue
server_group=hue
default_user=hue
default_hdfs_superuser=hue

注意：这默认的账户为hue，如果你配置的账户和我的不相同，请在hadoop代理配置中保持一致

否则会出现一些列关于权限的问题如：

Hadoop/HDFS

fs_defaultfs=hdfs://master:9000
webhdfs_url=http://master:50070/webhdfs/v1
hadoop_conf_dir=/home/hadoop/hadoop-2.6.0/etc/hadoop

YARN

 resourcemanager_host=master
 resourcemanager_port=8032
 resourcemanager_api_url=http://master:18088
 proxy_api_url=http://master:18088
 history_server_api_url=http://master:19888

HBase

 hbase_clusters=(Cluster|master:9090)
 hbase_conf_dir=/home/hadoop/hbase-1.0.1.1/conf

Hive

 hive_server_host=master
 hive_server_port=10000
 hive_conf_dir=/home/hadoop/apache-hive-1.2.1-bin/conf

Pig

 # Location of piggybank.jar on local filesystem.
 ## local_sample_dir=/usr/share/hue/apps/pig/examples
 # Location piggybank.jar will be copied to in HDFS.
 ## remote_data_dir=/user/hue/pig/examples

Sqoop2

 server_url=http://master:12000/sqoop
 sqoop_conf_dir=/home/sqoop-1.99.6/conf

hadoop配置

在hdfs-site.xml添加

<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>

在core-site.xml添加

<!-- enable WebHDFS in the NameNode and DataNodes -->
<property> 
　　<name>dfs.webhdfs.enabled</name> 
　　<value>true</value> 
</property>
<!-- Hue WebHDFS proxy user setting -->
<property>
  <name>hadoop.proxyuser.hue.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hue.groups</name>
  <value>*</value>
</property>

<property>  
<name>hadoop.proxyuser.httpfs.hosts</name>  
<value>*</value>  
</property>  
<property>  
<name>hadoop.proxyuser.httpfs.groups</name>  
<value>*</value>  
</property>

注意：这里使用的webHDFS，如果需要httpFS，请参考官网进行配置

配置成功以后需要重新启动hadoop集群，注意需要将配置问题同步到所有主机上