如何为Impala Daemon服务配置Executor和Coordinator角色

Posted 2021-04-24 Hadoop实操

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。

Fayson的github：

https://github.com/fayson/cdhproject

提示：代码块部分可以左右滑动查看噢

1.文档编写目的

---

默认情况下，CDH集群中的Impala Daemon又可以充当查询的coordinator，也可以作为executor来执行查询本身，coordinator类似一个查询作业的管理角色一样负责协调各个Impala Daemon上的executor。在大规模集群中，Impala作业比较多的情况下，一个Impala Daemon既作为coordinator又作为executor是比较常见的，这就不可避免的会带来一些问题：

1.coordinator与executor会互相干扰带来性能问题。对于较大或者复杂的查询的时候，coordinator会带来大量的网络和CPU开销。每个coordinator都会缓存所有表分区和数据文件的元数据，同时作为executor它还需要处理join，聚合或者其他操作，这些都需要大量内存。

2.将大量主机都作为coordinator会造成不必要的网络开销，甚至是timeout错误，因为每个coordinator都需要与statestore进程通信以进行元数据更新。

3.当有大量查询负载较重的Impala Daemon作为coordinator时，会更容易超过admission control所设置的"soft limits"。

所以从CDH5.12开始，Impala支持分离coordinator与executor，可以明确指定哪些主机只作为coordinator，而不作为executor。这些节点不会参与I/O密集型操作比如扫描，或者CPU密集型操作比如聚合。同时你也可以指定哪些主机只作为executor，而不作为coordinator，它们依旧会与statestore进程进行通信，但是不会从statestore获取元数据，你不能通过impala-shell客户端或者BI工具连接到这些主机。

本篇文章Fayson主要介绍如何为Impala Daemon服务配置Coordinator和Executor角色，从而解决大规模集群下Impala查询性能瓶颈问题。

• 测试环境

1.CM5.14.3/CDH5.14.2

2.RedHat7.4

• 前置条件

1.集群已启用Kerberos

2.集群已集成Sentry服务

3.Impala已配置HAProxy负载

2.配置Impala服务的Coordinator和Executor

---

这里以Fayson的测试环境为例，选择集群的两个节点cdh02和cdh03节点的ImpalaDaemon作为Coordinator角色，cdh04和cdh04节点的Impala Daemon作为Executor角色进行配置说明。

1.登录Cloudera Manager界面进入Impala服务，点击“配置”

2.进入角色组界面，新建Coordinator角色组，将一部分Impala Daemon节点划分为Coordinator Group角色组

2.将cdh02和cdh03两个节点移到Coordinator Group组

4.进入Impala的配置页面，为我们划分的两个组配置高级参数

在Impala配置中搜索“Impala Daemon 命令行参数高级配置代码段（安全阀）”，为Default Group组配置-is_coordinator = false，为Coordinator Group配置-is_executor = true，如下截图所示：

保存配置，根据CM提示重启Impala服务。

3.修改HAProxy的配置

---

1.修改/etc/haproxy/haproxy.cfg文件，将Coordinator Group组的Impala Daemon节点配置到haproxy.cfg文件中，内容如下：

listen impalashell
    bind 0.0.0.0:25003
    mode tcp
    option tcplog
    balance leastconn
    server cdh02.fayson.com cdh02.fayson.com:21000 check
    server cdh03.fayson.com cdh03.fayson.com:21000 check

listen impalajdbc
    bind 0.0.0.0:25004
    mode tcp
    option tcplog
    balance leastconn
    server cdh02.fayson.com cdh02.fayson.com:21050 check
    server cdh03.fayson.com cdh03.fayson.com:21050 check

（可左右滑动）

2.保存配置，然后重启Impala服务

[root@cdh01 ~]# systemctl restart haproxy
[root@cdh01 ~]# systemctl status haproxy

（可左右滑动）

3.访问HAProxy服务监控界面查看

4.Impala-shell测试

---

1.使用impala-shell命令访问HAProxy端口

2.执行SQL操作，通过CM查看SQL执行详细信息

通过CM查看到的SQL执行详细信息可以看到cdh02将接受的查询请求转发至cdh04节点，该节点为Executor角色的Impala Daemon。

5.总结

---

1.对于较大的Impala集群，我们在配置Impala Daemon负载均衡时可以将一部分Impala Daemon节点配置为Coordinator角色。这里需要考虑的问题，Coordinator角色的节点可以部署在非DataNode节点上，保证所有的Executor角色的节点都能在所有的DataNode节点，避免Impala跨节点读取数据。

2.配置为Coordinator角色的Impala Daemon可以通过impala-shell访问，但配置为Executor角色的Impala Daemon是不可以通过impala-shell访问。

3.作为Coordinator角色的Impala Daemon节点作为HAProxy的后端，用于配置Impala集群负载均衡。

4.Coordinator角色的Impala Daemon节点不会参与运算而仅负责调度和监控查询的执行，以及同步元数据，而Executor角色的Impala节点仅参与运算但不会同步数据。

提示：代码块部分可以左右滑动查看噢

为天地立心，为生民立命，为往圣继绝学，为万世开太平。

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。