centos7.2 64位 hadoop2.7.3 安装 hawq 2.10 随笔啊随笔而已。

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了centos7.2 64位 hadoop2.7.3 安装 hawq 2.10 随笔啊随笔而已。相关的知识,希望对你有一定的参考价值。

在谷歌趋势上看,spark全球火,而hawq除了中国其他地方也比较火,尤其德国芬兰hawq火。有意思的是hawq的开发团队的老大是华人,是北京某著名大学的08届博士!团队也有好多华人

hive的感觉很呆板,spark天马行空但吃内存并发底。pgsql-->greenplum-->hawq,一路走来,hawq算是够了。hawq的缺点是开发麻烦,CPP语言么!spark用scala语言,代码量少,开发快。

hawq是计算存储分离,使用p2p udp快速传输数据。而spark计算和存储一体,RDD尽量放入内存,占用内存大。

还有,hawq应该不用mapred模型,所以这个实验你不配置mapred也没关系了。

我单节点装了hawq,从源代码编译。到20170411:22:17:13:452250 hawq_init:t430:gpadmin-[INFO]:-Init HAWQ cluster successfully
做个笔记。有同行用到了,最好不过。

主要安装资料

Apache Hadoop 2.7.3 – Hadoop: Setting up a Single Node Cluster.

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

但节点安装hadoop,而非local模式.。hadoop应该放在/home下,而非用户目录下,更不应该是/root下。否则很麻烦

因为hawq资源管理配置文件里可以用no,而非yarn,所以yarn可以不装。no表示用hawq自己的资源管理框架。

https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=61320026 这是apache社区的资料。英文。

https://mp.weixin.qq.com/s?__biz=MzAwMzcyMzEyOQ==&mid=2656640507&idx=1&sn=5c4c48d1aa082374ac59adf0ea51a648&pass_ticket=SMMJxi09RPEUiBXeCWsaJyIycUFKmjbaEQNm1IjphVzh5mvtC3ODZpWPI2skvTOp

这是hawq中文的weixin号的文章。

编译完后,hawq被装在/usr/local/hawq下。要求gpadmin对hawq/etc有完全权限。我设owner是gpadmin,然后目录和文件权限777了。

然后hawq init cluster是以gpadmin身份执行的。

 

下面把配置文件贴下。

[[email protected] hadoop]# cat bash_profile 
export base1=/home
export JAVA_HOME="$base1/hadoop/jdk1.8.0_111"
export SCALA_HOME="$base1/hadoop/scala-2.11.8"
export HADOOP_HOME="$base1/hadoop/hadoop-2.7.3"
export SPARK_HOME="$base1/hadoop/spark-2.1.0-bin-hadoop2.7"
export PATH="$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SPARK_HOME/bin:$PATH"
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

[[email protected] hadoop]# 

 配置文件中spark和scala是另一个里面的,您不需要这两项。

注意,hawq中hdfs 端口认8020,而hadoop2.7.3默认是9000。这个我们改hadoop这边的。

涉及到环境变量自动设置的问题。每次登陆都执行一次source bash_profile不应该吧。可以cat bash_profile>>~/.bashrc ,就是把环境变量内容追加到.bashrc中,用户登陆时会自动初始化。建议把/usr/local/hawq/gree*.sh也追加到bashrc中。

编译hawq要下载很多东西。

make -j8 这个命令有用,虽然名字起的很随意。要用的。用的时候下载了一堆java的东西,又慢,所以配置了maven的aliyun镜像,简直快。
[[email protected] ~]# cat ~/.m2/settings.xml 
<?xml version="1.0" encoding="UTF-8"?>  
<settings xmlns="http://maven.apache.org/SETTINGS/1.0.0"   
          xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"   
          xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0  
                              http://maven.apache.org/xsd/settings-1.0.0.xsd">  
    <mirrors>  
        <mirror>  
            <id>alimaven</id>  
            <name>aliyun maven</name>  
            <url>http://maven.aliyun.com/nexus/content/groups/public/</url>  
            <mirrorOf>central</mirrorOf>          
        </mirror>  
        <mirror>      
            <id>ibiblio</id>      
            <mirrorOf>central</mirrorOf>      
            <name>Human Readable Name for this Mirror.</name>      
            <url>http://mirrors.ibiblio.org/pub/mirrors/maven2/</url>      
        </mirror>    
    </mirrors>  
</settings> 
[[email protected] ~]# 

 

然后注意启动start-dfs.sh之前,要用su hdfs 切换用户到hdfs。否则对应本地目录的所有人是root,可能会有问题。启动完后,切换到gpadmin 启动hawq init cluster。

最近spark冷了,产品没以前那么火,郁闷。我随笔,不懂问我。


以上是关于centos7.2 64位 hadoop2.7.3 安装 hawq 2.10 随笔啊随笔而已。的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop2.7.3+Centos7

centos 6.5怎么搭建hadoop2.7.3

Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程

Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程

Ubuntu16.04安装Hadoop2.7.3教程

Hadoop2.7.3分布式环境准备