CDH6.3.2处理Zookeeper因未授权访问造成的漏洞

Posted 格格巫 MMQ!!

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了CDH6.3.2处理Zookeeper因未授权访问造成的漏洞相关的知识,希望对你有一定的参考价值。


1.zookeeper的基本情况
zookeeper是分布式协同管理工具,常用来管理系统配置信息,提供分布式协同服务。zookeeper官网下载软件包,bin目录下有客户端脚本和服务端脚本。另外还有个工具对理解和使用zookeeper服务非常有用,即zk-ui,该工具是zk服务端的可视化工具,可在web界面对服务端进行操作。

zookeeper以树状结构保存数据,我们完全可以对比linux文件系统理解zookeeper的文件系统。不同点在于linux下的每个目录名对应一个znode。

znode是zk的基本单元,可以存在数据信息、版本信息等等。如图,/是zookeeper的根节点,A、B、C和D均为znode。

2.zookeeper存在的问题
我们在使用zookeeper提供的服务的时候会发现,只要知道zk服务端的IP和Port,任务用户或者客户端根本不需要任何的认证就可以连上zk的服务端,并且可以对znode进行增删等操作。这样数据是非常不安全的,极易被攻击和篡改。

zookeeper解决这个问题的手段是ACL(access control list)机制,即访问控制列表。

3.zookeeper的ACL机制
zookeeper通过ACL机制控制znode节点的访问权限。

传统的文件系统中,ACL分为两个维度,一个是属组,一个是权限,子目录/文件默认继承父目录的ACL。而在Zookeeper中,node的ACL是没有继承关系的,是独立控制的。Zookeeper的ACL,可以从三个维度来理解:一是scheme; 二是user; 三是permission,通常表示为

'scheme,'id
:permissions
下面从这三个方面分别来介绍:

scheme: scheme对应于采用哪种方案来进行权限管理,zookeeper实现了一个pluggable的ACL方案,可以通过扩展scheme,来扩展ACL的机制。zookeeper-3.4.4缺省支持下面几种scheme:

world: 它下面只有一个id, 叫anyone, world:anyone代表任何人,zookeeper中对所有人有权限的结点就是属于world:anyone的
auth: 它不需要id, 只要是通过authentication的user都有权限(zookeeper支持通过kerberos来进行authencation, 也支持username/password形式的authentication)
digest: 它对应的id为username:BASE64(SHA1(password)),它需要先通过username:password形式的authentication
ip: 它对应的id为客户机的IP地址,设置的时候可以设置一个ip段,比如ip:192.168.1.0/16, 表示匹配前16个bit的IP段
super: 在这种scheme情况下,对应的id拥有超级权限,可以做任何事情(cdrwa)
permission: zookeeper目前支持下面一些权限:

CREATE©: 创建权限,可以在在当前node下创建child node
DELETE(d): 删除权限,可以删除当前的node
READ®: 读权限,可以获取当前node的数据,可以list当前node所有的child nodes
WRITE(w): 写权限,可以向当前node写数据
ADMIN(a): 管理权限,可以设置当前node的permission
3.1IP白名单模式授权
进入到zk目录

cd /opt/cloudera/parcels/CDH/lib/zookeeper/bin
进入zk客户端

./zkCli.sh -server xxx.xxx.xxx.xxx:2181
对需要进行白名单设置的路径进行设置,此处设置的路径没有继承关系,即设置了/test的白名单,但是/test/test2依然没有设置为白名单。

setAcl /test ip:127.0.0.1:cdrwa
多个ip之间用逗号隔开,如:

setAcl /test ip:127.0.0.1:cdrwa,ip:192.168.10.3:cdrwa
通过此IP白名单设置之后,即只允许设定过的IP服务器才能进行访问,其他机器无法访问。

3.2auth模式授权
3.2.1添加用户
addauth digest ramboo:ramboo
可以添加多个用户,如

addauth digest ramboo1:ramboo1
addauth digest ramboo2:ramboo2
addauth digest ramboo3:ramboo3
3.2.2设置Acl权限
此处假如对/auth路径进行设置,则

setAcl /auth auth:ramboo1:ramboo1:cdrwa
注:此处虽然设置了ramboo1用户的权限,但是zk会默认添加所有存在的用户。此处需要注意。

3.2.3查看Acl权限
getAcl /auth
结果如下所示:

'digest,'ramboo1:JXpHVJcEMUsIf5MM6u7TlOp3pqo=
cdrwa
'digest,'ramboo2:lTTHGKOT6A3iEwj/SV5meGTXbAM=
cdrwa
'digest,'ramboo3:b8+HkvFoPszTILQTMB1YFQ+Yvus=
cdrwa
注:如果退出了客户端,再进入的时候,需要重新添加用户,才可访问,即授权。

3.3digest模式授权
此模式,和auth模式的区别在于:

1、digest设置Acl的时候,可以不用先添加用户,而auth设置Acl的时候,是需要提前设置用户的,否则报错。
2、digest设置的密码要用密文,auth设置的密码是明文。
3、auth设置的,只需设置一个用户,就可以把所有用户设置进去,而digest不行,只能对本次设置的用户有效。也就是auth模式忽略id。
3.3.1生成密文密码
在Linux下执行如下命令

echo -n xing:xing | openssl dgst -binary -sha1 | openssl base64
结果为:

kgk4DGva6vqOBYMGbMsXBZuFCXE=
3.3.2设置Acl权限
此处假如对/digest路径进行设置,则

setAcl /digest digest:xing:kgk4DGva6vqOBYMGbMsXBZuFCXE=:cdrwa

#添加多个用户,则用逗号隔开
setAcl /digest digest:xing:kgk4DGva6vqOBYMGbMsXBZuFCXE=:cdrwa,digest:hang:YQRsX4vWAT6BHGo7yQi6tFSYxKc=:cdrwa

注:此处的密文密码不要随意更改,否则不知道对应的明文是多少,后续就没办法访问对应节点,切记!

注:此处的密文密码不要随意更改,否则不知道对应的明文是多少,后续就没办法访问对应节点,切记!

注:此处的密文密码不要随意更改,否则不知道对应的明文是多少,后续就没办法访问对应节点,切记!

3.3.3查看Acl权限

此时如果没有添加xing这个用户,需要先添加,才可查看。添加命令如下:

addauth digest xing:xing
添加后,可查看:

getAcl /digest
结果为:

'digest,'xing:kgk4DGva6vqOBYMGbMsXBZuFCXE=
cdrwa
4.忘记密码修复方式
如果对上述设置授权后,忘记密码了,怎么办?方法如下:

进入配置文件zoo.cfg,修改配置,设置跳过Acl验证,配置如下:
skipACL=yes
重启zookeeper
启动后,可按照第一节所述的方式,重新进行Acl设置即可
5.利用zookeeper api进行zk实例的初始化和权限添加
代码示例

//给密码加密
public String getDigestUserPswd(String idPassword) throws NoSuchAlgorithmException 
    return DigestAuthenticationProvider.generateDigest(idPassword);


//获取ACL列表,这里只设置一个可访问用户,用户名为user,密码为pswd。如果你需要多个,继续add即可。
public List<ACL> getAclList() 
    String idPassword = "user:pswd";
    if (idPassword == null) 
        logger.warn("no digest config,so use world scheme");
        return ZooDefs.Ids.OPEN_ACL_UNSAFE;
    
    List<ACL> aclList = new ArrayList<>();
    try 
        Id zkUser = new Id("digest", getDigestUserPswd(idPassword));
        ACL acl = new ACL(ZooDefs.Perms.ALL, zkUser);
        aclList.add(acl);
     catch (NoSuchAlgorithmException e) 
        logger.error(e);
    
    return aclList;


//给znode设置权限,只有aclList的用户可以访问
public void addDigestScheme() 
    zk.setACL(znode, aclList, -1);


//如何访问加密的znode
public void client() 
    ZooKeeper zk = new ZooKeeper(xxx);
    zk.addAuthInfo("digest", "user:pswd".getBytes());

上面的代码仅说明了核心步骤。

6.漏洞扫描验证
上面我们在创建znode的时候进行了加密,这样总可以通过漏洞扫描了吧。

但是如果你使用漏洞扫描工具扫描的话,还是有未授权访问漏洞的,为啥呢?
不知道你有没有注意,zk服务端启动后,默认会启动这几个具有world和cdrwa权限的znode,“/” “/zookeeper” “/zookeeper/config"和”/zookeeper/quota"(根据zookeeper的版本不同可能存在不同,并且这几个节点虽然具有world和cdrwa权限,但是是无法删除的,不知道为什么,好在我们可以给它设置ACL列表。另外,官网对着几个节点也没有特别说明,估计和zk本身的一些配置相关吧,不删除最好)。就是这几个znode,会导致你的产品无法通过安全工具的漏洞扫描,你说坑不坑,解决办法也是很简单的,用我们前面说过的zk.setACL为这几个节点设置权限就OK了,千万别忘记根节点"/"了。

好了,到这里,才是真正的解决了这个未授权访问漏洞问题了。

建议:如果zookeeper安装在阿里云服务器上的话,可以忽略此漏洞,通过安全组进行权限访问。

以上是关于CDH6.3.2处理Zookeeper因未授权访问造成的漏洞的主要内容,如果未能解决你的问题,请参考以下文章

CDH6.3.2 开启Kerberos 认证

CDH6.3.2 开启Kerberos 认证

CDH6.3.2 启用Kerberos 认证

大数据平台CDH6.3.2部署

大数据平台CDH6.3.2部署

CDH6.3.2开启kerberos认证