kafka ACL常用权限操作

Posted 2023-03-19

参考技术A

kafka ACL常用权限操作

使用bin/kafka-topics.sh创建
注意工具bin/kafka-topics.sh访问的是zookeeper而不是kafka，即他是一个zookeeper client而不是一个kafka client，所以它的认证都是通过zookeeper完成的。

Case 1：如果zookeeper没有配置ACL激活：

Case 2：如果zookeeper已经配置ACL激活：

命令还是前面的那个命令，但是必须提供java.security.auth.login.config指向jaas.conf文件。例如：

命令的配置可以直接修改jvm的启动脚本，或者设置在环境变量里：

这里配置的用户必须是zookeeper服务端已经配置运行可以访问的客户端用户。例如，下面的zookeeper服务端配置：

运行客户端为admin的用户作为zookeeper客户端连接访问。

查询topic操作的ACL认证，同前面创建topic操作的认证一样，不细说，参考前面。

删除topic操作的ACL认证，同前面创建topic操作的认证一样，不细说，参考前面。

producer用的脚本是/opt/kafka/bin/kafka-console-producer.sh，注意这个producer脚本是和kafka打交道的(相对bin/kafka-topics.sh是和zookeeper打交道的)，所以：

命令行格式：

文件/path/to/client-sasl.properties

还需要配置client用户信息，并传给JVM参数：

此时如果没有授权，则会得到如下错误信息：

赋予producer的权限：

这个选项--producer实际上在Topic域上创建了(Write/Describe/Create)3个子权限：

当然用户也可以单独创建者三个子权限。

consumer用的脚本是/opt/kafka/bin/kafka-console-consumer.sh，注意和生产者producer一样，consumer也是和kafka打交道的(相对于bin/kafka-topics.sh是和zookeeper打交道的)，所以：

命令行格式：

选项--from-begining可以调整成其他值；配置文件/path/to/client-sasl.properties和producer的一样，不细说，参考生产者。

此时如果没有授权，则会得到如下错误信息：

赋予consumer的权限：

和producer相比，consumer还有一个额外的参数--group，如果没有限制，则置成\'*\'即可；这个--consumer的选择实际上在Topic域上创建了(Read/Describe)2个子权限，然后在Group域创建了(Read)1个子权限：

这个地方我们注意一下，consumer没有Create的权限，所以如果kafka配置成auto.create.topics.enable=true，而此时topic不存在，那么consumer试图创建topic的时候会失败，那就需要一条单独的Create授权规则来给consumer增加Create权限。

权限管理工具以命令行的方式管理权限，可以增加/删除/列举所有的权限规则。

基本用法：

授权用户kafaclient具有Read topic kafaclient--topic的权限。

删除用户kafaclient具有Describe topic kafaclient--topic的权限。

查看当前在topic kafkaclient--topic上面的权限列表。

另外注意，和kafka-topics.sh一样，kafka-acls.sh也是直接访问zookeeper的，而不是访问kafka，所以它的认证方式和kafka-topics.sh是一样的：

详细的用法配置请参考kafka-topics.sh部分，不细说。

在kafka2.0之后引入了--resource-pattern-type这个参数，可以针对特定的资源(topic)命名规则，例如前缀，来为某一类的topic添加规则。而之前的办法只能读完整的topic设置规则，字符\' \'表示所有的，这不是规则表达式匹配任意字符的意思，而就是文本字符\' \'。

例如：

授权用户kafkaclient具有访问所有以\'kafkaclient--\'开头的topic的权限；这样带来的好处是，以后我们使得kafkaclient创建的topic全部以\'kafkaclient--\'开头，那么就不需要再为这些topic创建rule，一条rule就能够动态的管理新加的topic。

其实我对这个还是不满意，如果能够定义灵活规则就好了；因为上面的限制，我还是需要为每一个用户添加一条规则，而我想为所有的用户只用一条规则，这条规则就是：任何用户具有访问以这个用户名开头的所有的topic；这样不管以后新加topic还是新加用户，都不用再新加rule了。遗憾的是目前kafka还是不支持这个功能。类似：