Hadoop安全机制之令牌

Posted 2020-09-11

介绍

Hadoop中的安全机制包括认证和授权。而Hadoop RPC中采用SASL（Simple Authentication and Security Layer，简单认证和安全层）进行安全认证，具体认证方法涉及Kerberos和DIGEST-MD5两种。

      在这种机制中，Kerberos用于在客户端和服务器端之间建立一条安全的网络连接，之后客户端可通过该连接从服务器端获取一个密钥。由于该密钥仅有客户端和服务器端知道，因此，接下来客户端可使用该共享密钥获取服务的认证。使用共享密钥进行安全认证（使用DIGEST-MD5协议）有多方面的好处：由于它只涉及认证双方而不必涉及第三方应用（比如Kerberos中的KDC），因此安全且高效；客户端也可以很方便地将该密钥授权给其他客户端，以让其他客户端安全访问该服务。我们将基于共享密钥生成的安全认证凭证称为令牌（Token）。在Hadoop中，所有令牌主要由identifier和password两部分组成，其中，identifier包含了该令牌中的基本信息，而password则是通过HMAC-SHA1作用在identifier和一个密钥上生成的，该密钥长度为20个字节并由Java的SecureRamdom类生成。Hadoop中共有三种令牌：委托令牌、块访问令牌和作业令牌。

委托令牌（Delegation Token）

      授权令牌主要用于NameNode为客户端进行认证。当客户端初始访问NameNode时，如果通过Kerberos认证，则NameNode会为它返回一个密钥，之后客户端只需借助该密钥便可进行NameNode认证。为了防止重启后密钥丢失，NameNode将各个客户端对应的密钥持久化保存到镜像文件中。默认情况下，所有密钥每隔24小时更新一次，且NameNode总会保存前7小时的密钥以保证之前的密钥可用。

数据块访问令牌（Block Access Token）

      数据块访问令牌主要用于DataNode、SecondaryNameNode和Balancer为客户端存取数据块进行认证。当客户端向NameNode发送文件访问请求时，如果通过NameNode认证以及文件访问权限检查，则NameNode会将该文件对应的数据块位置信息和数据块访问密钥发送给客户端，客户端需凭借数据块访问密钥才可以读取一个DataNode上的数据块。NameNode会通过心跳将各个数据块访问密钥分发给DataNode、SecondaryNameNode和Balancer。需注意的是，数据块访问密钥并不会持久化保存到磁盘上，默认情况下，它们每隔10小时更新一次并通过心跳通知各个相关组件。

作业令牌（Job Token）

      作业令牌主要用于TaskTracker对任务进行认证。用户提交作业到JobTracker后，JobTracker会为该作业生成一个作业令牌，并写到该作业对应的HDFS系统目录下。当该作业的任务调度到各个TaskTracker上后，将从HDFS上获取作业令牌。该令牌可用于任务与TaskTracker之间进行相互认证（比如Shuffle阶段的安全认证）。与数据块访问令牌一样，作业令牌也不会持久化保存到内存中，一旦JobTracker重新启动，就会生成新的令牌。由于每个作业对应的令牌已经写入HDFS，所以之前的仍然可用。

优势  

      相比于单纯使用Kerberos，基于令牌的安全认证机制有很多优势，具体如下。

?性能：在Hadoop集群中，同一时刻可能有成千上万的任务正在运行。如果我们使用Kerberos进行服务认证，则所有任务均需要KDC中AS提供的TGT，这可能使得KDC成为一个性能瓶颈，而采用令牌机制则可避免该问题。

?凭证更新：在Kerberos中，为了保证TGT或者服务票据的安全，通常为它们设置一个有效期，一旦它们到期，会对其进行更新。如果直接采用Kerberos验证，则需要将更新之后的TGT或者服务票据快速推送给各个Task，这必将带来实现上的烦琐。如果采用令牌，当令牌到期时，只需延长它的有效期而不必重新生成令牌。此外，Hadoop允许令牌在过期一段时间后仍可用，从而为过期令牌更新留下足够时间。

?安全性：用户从Kerberos端获取TGT后，可凭借该TGT访问多个Hadoop服务，因此，泄露TGT造成的危害远比泄露令牌大。

?灵活性：在Hadoop中，令牌与Kerberos之间没有任何依赖关系，Kerberos仅仅是进行用户身份验证的第一道防线，用户完全可以采用其他安全认证机制替换Kerberos。因此，基于令牌的安全机制具有更好的灵活性和扩展性。