第1节 IMPALA:7impala的安装以及配置过程

Posted mediocreworld

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了第1节 IMPALA:7impala的安装以及配置过程相关的知识,希望对你有一定的参考价值。

 

 

6、制作本地yum源

镜像源是centos当中下载相关软件的地址,我们可以通过制作我们自己的镜像源指定我们去哪里下载impala的rpm包,这里我们使用httpd这个软件来作为服务端,启动httpd的服务来作为我们镜像源的下载地址

这里我们选用第三台机器作为镜像源的服务端

node03机器上执行以下命令

yum  -y install httpd

service httpd start

cd /etc/yum.repos.d

vim localimp.repo

[localimp]

name=localimp

baseurl=http://node03/cdh5.14.0/

gpgcheck=0

enabled=1

 

创建apache  httpd的读取链接

ln -s /data02/cdh/5.14.0 /var/www/html/cdh5.14.0

页面访问本地yum源,出现这个界面表示本地yum源制作成功

 

将制作好的localimp配置文件发放到所有需要安装impala的节点上去

cd /etc/yum.repos.d/

scp localimp.repo  node02:$PWD

scp localimp.repo  node01:$PWD

7、开始安装impala

安装规划

服务名称

node01

node02

node03

impala-catalog

不安装

不安装

安装

impala-state-store

不安装

不安装

安装

impala-server

安装

安装

安装

 

主节点node03执行以下命令进行安装

yum  install  impala -y

yum install impala-server -y

yum install impala-state-store  -y

yum install impala-catalog  -y

yum  install  impala-shell -y

从节点node01与node02安装以下服务

yum install impala-server -y

 

8、所有节点配置impala

第一步:修改hive-site.xml

node03机器修改hive-site.xml内容如下

hive-site.xml配置

vim /export/servers/hive-1.1.0-cdh5.14.0/conf/hive-site.xml

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

        <property>

                <name>javax.jdo.option.ConnectionURL</name>

                <value>jdbc:mysql://node03.hadoop.com:3306/hive?createDatabaseIfNotExist=true</value>

        </property>

        <property>

            <name>javax.jdo.option.ConnectionDriverName</name>

                <value>com.mysql.jdbc.Driver</value>

        </property>

        <property>

                <name>javax.jdo.option.ConnectionUserName</name>

                <value>root</value>

        </property>

        <property>

             <name>javax.jdo.option.ConnectionPassword</name>

                <value>123456</value>

        </property>

        <property>

                <name>hive.cli.print.current.db</name>

                <value>true</value>

        </property>

        <property>

                <name>hive.cli.print.header</name>

                <value>true</value>

        </property>

        <property>

                <name>hive.server2.thrift.bind.host</name>

                <value>node03.hadoop.com</value>

        </property>

        <property>

                <name>hive.metastore.uris</name>

                <value>thrift://node03.hadoop.com:9083</value>

        </property>

     <property>

                <name>hive.metastore.client.socket.timeout</name>

                <value>3600</value>

        </property>

 

</configuration>

 

第二步:将hive的安装包发送到node02与node01机器上

在node03机器上面执行

cd /export/servers/

scp -r hive-1.1.0-cdh5.14.0/ node02:$PWD

scp -r hive-1.1.0-cdh5.14.0/ node01:$PWD

第三步:node03启动hive的metastore服务

启动hive的metastore服务

node03机器启动hive的metastore服务

cd  /export/servers/hive-1.1.0-cdh5.14.0

nohup bin/hive --service metastore &

nohup bin/hive -- service hiveserver2 &

注意:一定要保证mysql的服务正常启动,否则metastore的服务不能够启动

第四步:所有hadoop节点修改hdfs-site.xml添加以下内容

所有节点创建文件夹

mkdir -p /var/run/hdfs-sockets

修改所有节点的hdfs-site.xml添加以下配置,修改完之后重启hdfs集群生效

vim  /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml

    <property>

        <name>dfs.client.read.shortcircuit</name>

        <value>true</value>

    </property>

    <property>

        <name>dfs.domain.socket.path</name>

        <value>/var/run/hdfs-sockets/dn</value>

    </property>

    <property>

        <name>dfs.client.file-block-storage-locations.timeout.millis</name>

        <value>10000</value>

    </property>

    <property>
<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
<value>true</value>

    </property>

 

注意:root用户不需要这一步操作了,实际工作当中普通用户需要这一步操作

创建文件夹  /var/run/hadoop-hdfs/

给这个文件夹赋予权限,例如如果我们用的是普通用户,那就直接赋予普通用户的权限

例如:

chown  -R  hadoop:hadoop   /var/run/hdfs-sockets/

因为我这里直接用的root用户,所以不需要赋权限了

第五步:重启hdfs

重启hdfs文件系统

node01服务器上面执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/

sbin/stop-dfs.sh

sbin/start-dfs.sh

 

第六步:创建hadoop与hive的配置文件的连接

impala的配置目录为  /etc/impala/conf

这个路径下面需要把core-site.xml,hdfs-site.xml以及hive-site.xml拷贝到这里来,但是我们这里使用软连接的方式会更好

所有节点执行以下命令创建链接到impala配置目录下来

ln -s /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml /etc/impala/conf/core-site.xml

ln -s /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml /etc/impala/conf/hdfs-site.xml

ln -s /export/servers/hive-1.1.0-cdh5.14.0/conf/hive-site.xml /etc/impala/conf/hive-site.xml

 

第七步:修改impala的配置文件

所有节点修改impala默认配置

所有节点更改impala默认配置文件以及添加mysql的连接驱动包

vim /etc/default/impala

IMPALA_CATALOG_SERVICE_HOST=node03

IMPALA_STATE_STORE_HOST=node03

所有节点创建mysql的驱动包的软连接

ln -s /export/servers/hive-1.1.0-cdh5.14.0/lib/mysql-connector-java-5.1.38.jar /usr/share/java/mysql-connector-java.jar

 

所有节点修改bigtop的java路径

修改bigtop的java_home路径

vim /etc/default/bigtop-utils

export JAVA_HOME=/export/servers/jdk1.8.0_141

 

 

第八步:启动impala服务

启动impala服务

主节点node03启动以下三个服务进程

service impala-state-store start

service impala-catalog start

service impala-server start

 

从节点启动node01与node02启动impala-server

service  impala-server  start

查看impala进程是否存在

ps -ef | grep impala

 

注意:启动之后所有关于impala的日志默认都在/var/log/impala 这个路径下,node03机器上面应该有三个进程,node02与node01机器上面只有一个进程,如果进程个数不对,去对应目录下查看报错日志

浏览器页面访问:

访问impalad的管理界面

http://node03:25000/

访问statestored的管理界面

http://node03:25010/

 

以上是关于第1节 IMPALA:7impala的安装以及配置过程的主要内容,如果未能解决你的问题,请参考以下文章

第1节 IMPALA:8impala的shell交互窗口使用

第1节 IMPALA:4linux磁盘的挂载

如何安装SAS并配置连接Hive/Impala

实用 | CDH 上 Kudu1.0及Impala2.6实测

大数据-基于Spark的机器学习-智能客户系统项目实战

第1节 hive安装:2345