第1节 IMPALA：7impala的安装以及配置过程

Posted 2022-03-16 mediocreworld

 

 

6、制作本地yum源

镜像源是centos当中下载相关软件的地址，我们可以通过制作我们自己的镜像源指定我们去哪里下载impala的rpm包，这里我们使用httpd这个软件来作为服务端，启动httpd的服务来作为我们镜像源的下载地址

这里我们选用第三台机器作为镜像源的服务端

node03机器上执行以下命令

yum  -y install httpd

service httpd start

cd /etc/yum.repos.d

vim localimp.repo

[localimp]

name=localimp

baseurl=http://node03/cdh5.14.0/

gpgcheck=0

enabled=1

 

创建apache  httpd的读取链接

ln -s /data02/cdh/5.14.0 /var/www/html/cdh5.14.0

页面访问本地yum源，出现这个界面表示本地yum源制作成功

 

将制作好的localimp配置文件发放到所有需要安装impala的节点上去

cd /etc/yum.repos.d/

scp localimp.repo  node02:$PWD

scp localimp.repo  node01:$PWD

7、开始安装impala

安装规划

服务名称	node01	node02	node03
impala-catalog	不安装	不安装	安装
impala-state-store	不安装	不安装	安装
impala-server	安装	安装	安装

 

主节点node03执行以下命令进行安装

yum  install  impala -y

yum install impala-server -y

yum install impala-state-store  -y

yum install impala-catalog  -y

yum  install  impala-shell -y

从节点node01与node02安装以下服务

yum install impala-server -y

 

8、所有节点配置impala

第一步：修改hive-site.xml

node03机器修改hive-site.xml内容如下

hive-site.xml配置

vim /export/servers/hive-1.1.0-cdh5.14.0/conf/hive-site.xml

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

        <property>

                <name>javax.jdo.option.ConnectionURL</name>

                <value>jdbc:mysql://node03.hadoop.com:3306/hive?createDatabaseIfNotExist=true</value>

        </property>

        <property>

            <name>javax.jdo.option.ConnectionDriverName</name>

                <value>com.mysql.jdbc.Driver</value>

        </property>

        <property>

                <name>javax.jdo.option.ConnectionUserName</name>

                <value>root</value>

        </property>

        <property>

             <name>javax.jdo.option.ConnectionPassword</name>

                <value>123456</value>

        </property>

        <property>

                <name>hive.cli.print.current.db</name>

                <value>true</value>

        </property>

        <property>

                <name>hive.cli.print.header</name>

                <value>true</value>

        </property>

        <property>

                <name>hive.server2.thrift.bind.host</name>

                <value>node03.hadoop.com</value>

        </property>

        <property>

                <name>hive.metastore.uris</name>

                <value>thrift://node03.hadoop.com:9083</value>

        </property>

     <property>

                <name>hive.metastore.client.socket.timeout</name>

                <value>3600</value>

        </property>

 

</configuration>

 

第二步：将hive的安装包发送到node02与node01机器上

在node03机器上面执行

cd /export/servers/

scp -r hive-1.1.0-cdh5.14.0/ node02:$PWD

scp -r hive-1.1.0-cdh5.14.0/ node01:$PWD

第三步：node03启动hive的metastore服务

启动hive的metastore服务

node03机器启动hive的metastore服务

cd  /export/servers/hive-1.1.0-cdh5.14.0

nohup bin/hive --service metastore &

nohup bin/hive -- service hiveserver2 &

注意：一定要保证mysql的服务正常启动，否则metastore的服务不能够启动

第四步：所有hadoop节点修改hdfs-site.xml添加以下内容

所有节点创建文件夹

mkdir -p /var/run/hdfs-sockets

修改所有节点的hdfs-site.xml添加以下配置，修改完之后重启hdfs集群生效

vim  /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml

    <property>

        <name>dfs.client.read.shortcircuit</name>

        <value>true</value>

    </property>

    <property>

        <name>dfs.domain.socket.path</name>

        <value>/var/run/hdfs-sockets/dn</value>

    </property>

    <property>

        <name>dfs.client.file-block-storage-locations.timeout.millis</name>

        <value>10000</value>

    </property>

    <property>
<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
<value>true</value>

    </property>

 

注意：root用户不需要这一步操作了，实际工作当中普通用户需要这一步操作

创建文件夹  /var/run/hadoop-hdfs/

给这个文件夹赋予权限，例如如果我们用的是普通用户，那就直接赋予普通用户的权限

例如：

chown  -R  hadoop:hadoop   /var/run/hdfs-sockets/

因为我这里直接用的root用户，所以不需要赋权限了

第五步：重启hdfs

重启hdfs文件系统

node01服务器上面执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/

sbin/stop-dfs.sh

sbin/start-dfs.sh

 

第六步：创建hadoop与hive的配置文件的连接

impala的配置目录为  /etc/impala/conf

这个路径下面需要把core-site.xml，hdfs-site.xml以及hive-site.xml拷贝到这里来，但是我们这里使用软连接的方式会更好

所有节点执行以下命令创建链接到impala配置目录下来

ln -s /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml /etc/impala/conf/core-site.xml

ln -s /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml /etc/impala/conf/hdfs-site.xml

ln -s /export/servers/hive-1.1.0-cdh5.14.0/conf/hive-site.xml /etc/impala/conf/hive-site.xml

 

第七步：修改impala的配置文件

所有节点修改impala默认配置

所有节点更改impala默认配置文件以及添加mysql的连接驱动包

vim /etc/default/impala

IMPALA_CATALOG_SERVICE_HOST=node03

IMPALA_STATE_STORE_HOST=node03

所有节点创建mysql的驱动包的软连接

ln -s /export/servers/hive-1.1.0-cdh5.14.0/lib/mysql-connector-java-5.1.38.jar /usr/share/java/mysql-connector-java.jar

 

所有节点修改bigtop的java路径

修改bigtop的java_home路径

vim /etc/default/bigtop-utils

export JAVA_HOME=/export/servers/jdk1.8.0_141

 

 

第八步：启动impala服务

启动impala服务

主节点node03启动以下三个服务进程

service impala-state-store start

service impala-catalog start

service impala-server start

 

从节点启动node01与node02启动impala-server

service  impala-server  start

查看impala进程是否存在

ps -ef | grep impala

 

注意：启动之后所有关于impala的日志默认都在/var/log/impala 这个路径下，node03机器上面应该有三个进程，node02与node01机器上面只有一个进程，如果进程个数不对，去对应目录下查看报错日志

浏览器页面访问：

访问impalad的管理界面

http://node03:25000/

访问statestored的管理界面

http://node03:25010/