Impala运维规范

Posted 2022-05-30 江南独孤客

目录

​​Impala运维规范 1​​

​​1.账号使用规范 2​​

​​2.连接规范 2​​

​​3.巡检规范 2​​

​​3.1内存使用 2​​

​​3.2cpu使用率 3​​

​​3.3磁盘io负载 3​​

​​3.4网络io负载 4​​

​​4监控范围 4​​

​​4.1各 Impala Daemons 中的总 Total Used Memory 4​​

​​4.2各 Impala Daemons 中的总 Resident Set Size 5​​

​​4.3活动的前端 API 连接 6​​

​​4.4各 Impala Daemons 中的总任务 7​​

​​5.impala资源池使用规范 7​​

1.账号使用规范

1. 禁止其他用户使用任务调度用户登录生产测试
2. 每个用户要具体划分到当前项目，或者对应人
3. 禁止用户登录当前非指定的其他账号
4. 生产排查问题需要运维指定特定用户

2.连接规范

Impala推荐使用配置代理连接impalad集群，连接方式有impala-shell，jdbc或者odbc连接。

Impala-shell	impala-shell –I 代理ip:25003 -l -u hive --auth_creds_ok_in_clear
Jdbc，odbc	jdbc:impala：//代理ip：25004

3.巡检规范

1. 周检：运维巡检指标可以分为每周一次小范围的周检，作为当前集群健康状况检查，以及排查集群隐患。
2. 月检：每月一次周检作为集群是否要进一步扩容。
3. 查看webui：​​http://ip:7180/cmf/clusters/4/status​​

3.1内存使用

3.2cpu使用率

3.3磁盘io负载

3.4网络io负载

4监控范围

监控指标：

序号	指标
1	Total Used Memory
2	Resident Set Size
3	活动的前端 API 连接
4	中的总任务

注意：详细见下图

4.1各 Impala Daemons 中的总 Total Used Memory

注意：该参数反应当前任务占用内存情况

4.2各 Impala Daemons 中的总 Resident Set Size

注意：该参数反映当前预留内存使用情况

4.3活动的前端 API 连接

注意：反映当前连接情况

4.4各 Impala Daemons 中的总任务

5.impala资源池使用规范

1常规用户查询使用root.default，并且限制自主分析用户所有sql任务预估总内存不超过120G，而且同时运行sql任务数量不超过40个。

2其他用户查询暂不限制。