CDH设置HDFS静态数据加密

Posted 2023-05-12

参考技术A 加密是使用数字密钥对各种组件进行编码的过程，因此只有适当的实体才能进行解码，然后查看，修改或添加到数据中。
CDH提供了加密机制来保护持久保存在磁盘或其他存储介质上的数据（以及在网络上移动时的数据）。

保护静止数据通常意味着对存储在磁盘上的数据进行加密，并允许授权用户和进程在手头的应用程序或任务需要时解密数据。对于静态数据加密，必须分发和管理加密密钥，应定期旋转或更改密钥，并且许多其他因素使该过程复杂化。

Cloudera Navigator Key Trustee Server
使用的企业级密钥存储和管理系统，它将加密密钥与数据分离，从而确保即使未经授权的用户访问存储介质，数据也受到保护。它使您的集群能够满足最严格的数据安全规定。此外，Navigator密钥托管服务器可以与硬件安全模块(HSM)集成，为密钥提供最高级别的安全性。
Navigator HSM KMS backed by Thales HSM
Navigator HSM KMS backed by Luna HSM
(上面三个需要认证证书，我不用)
基于文件且受密码保护的 Java KeyStore
使用Java keytool库进行加密

！！！注意：这里特别说明一下

这部分最好使用ip，不要使用hostname，之前使用的是hostname，导致后面有一步认证过不去，注意一下。

输入密码：EXAMPLE.COM

进入后输入

添加管理账号

查看账号

进入KDC

添加管理员账号

查看是否添加成功

进入主页 --> 管理 --> 安全

启用 Kerberos

对应修改配置 ---> 继续

开始配置

CDH之HDFS用户权限问题

文章目录

• 问题1
• • 解决方法
• 问题2
• • 解决方法

问题1

root用户操作HDFS时报错：
mkdir: Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x
是因为CDH默认开启了检查HDFS权限

解决方法

• 关闭检查HDFS权限可以解决报错，但降低了HDFS的安全性
  对此的更优解是：把用户添加到supergroup组
  下面以root用户为例：

• 在所有节点执行下述命令

# 添加supergroup组
groupadd supergroup
# root用户加入supergroup组
usermod -a -G supergroup root
# 同步系统的权限信息到HDFS
sudo -u hdfs hdfs dfsadmin -refreshUserToGroupsMappings

• 检验

hadoop fs -mkdir /temp
hadoop fs -ls /

问题2

创建文件夹使用了相对路径时，出现No such file or directory

是因为没有对应的用户目录

解决方法

user下创建用户目录

hadoop fs -mkdir /user/root

创建后，相对路径会在用户目录中