如何启用Impala的动态资源池

Posted Hadoop实操

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何启用Impala的动态资源池相关的知识,希望对你有一定的参考价值。

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。


Fayson的github:

https://github.com/fayson/cdhproject


提示:代码块部分可以左右滑动查看噢


1.文档编写目的



在Cloudera Manager中动态资源池分为Yarn的动态资源池和Impala的动态资源池两种。Fayson在前面有多篇文章介绍了Yarn动态资源池的使用。本篇文章Fayson主要介绍如何通过CM启用Impala的动态资源池及介绍。


  • 内容概述

1.启用Impala动态资源池

2.动态资源池说明

3.总结


  • 测试环境

1.CM和CDH版本为5.15


2.启用Impala动态资源池



1.使用管理登录Cloudera Manager进入Impala服务配置界面



2.在左侧类别中过滤“Admission Control”,配置如下选项


如何启用Impala的动态资源池


保存配置后重启Impala服务,以上就完成了Impala动态资源池的启用。


3.进入Impala动态资源池管理界面


如何启用Impala的动态资源池


4.点击”Impala Admission Control”,进入资源池配置界面


如何启用Impala的动态资源池


3.动态资源池说明



在Impala Admission Control配置界面也同样提供了资源池的创建功能、计划模式以及放置规则。


1.Impala资源池管理,可以创建资源池对每个资源池进行资源配置


如何启用Impala的动态资源池


创建资源池


如何启用Impala的动态资源池


2.计划模式,通过创建不同的计划模式,使集群在不同的时间段使用不同的资源池配置


如何启用Impala的动态资源池


创建计划规则


如何启用Impala的动态资源池


3.放置规则,通过创建放置规则,是用户提交的作业运行在不同的资源池


如何启用Impala的动态资源池


创建放置规则


如何启用Impala的动态资源池


4.总结



1.Impala的Admission Control功能主要是为了限制用户提交SQL的并发数,以避免集群繁忙内存不足的情况。当集群的查询太多或查询需要的总内存太多,达到一个阈值时,提交的SQL将进入等待状态,当集群资源可用时才会开始查询。


2.Impala的动态资源池与Yarn动态资源池一致,可用创建多个不同的资源池、创建不同的执行计划以及设置放置规则。


3.Impala中的资源池的层级只支持两级,父级资源池均为root



提示:代码块部分可以左右滑动查看噢


为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。



推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。


请长按图片识别图中二维码报名,立刻开始你的大数据之旅吧



以上是关于如何启用Impala的动态资源池的主要内容,如果未能解决你的问题,请参考以下文章

Impala动态资源池及放置规则使用

如何使用 ATL/MSOLEDBSQL 启用连接资源池?

如何在anylogic中模拟期间动态更改资源池的班次组大小?

CDH中yarn的动态资源池的相关配置

Impala 并发查询延迟

内存池进程池线程池