安装Ranger Admin组件 Ranger HDFS 组件Ranger-usersync组件

Posted 2021-07-23 顧棟

文章目录

• 一、安装Ranger Admin组件
• 二、安装Ranger HDFS组件
• 三、安装Ranger-usersync组件

一、安装Ranger Admin组件

1. 准备好安装包 ranger-1.2.0.1-admin.tar.gz

2. 检查安装机器上是否有Python2和java

   python -V
   java -version
   

3. 解压安装包

   tar -zxvf ranger-1.2.0.1-admin.tar.gz
   

   得到ranger-1.2.0.1-admin文件夹。

4. 修改install.properties文件

   # 数据库采用mysql
   DB_FLAVOR=MYSQL
   #检查 jar是否存在
   SQL_CONNECTOR_JAR=/home/ranger/software/ranger-1.2.0.1-admin/cred/lib/mysql-connector-java-5.1.31.jar
   # 数据库的root用户密码
   db_root_user=root
   db_root_password=123456
   db_host=127.0.0.1
   #ranger schema 数据库 账号密码
   db_name=ranger
   db_user=root
   db_password=123456
   
   policymgr_external_url=http://localhost:6080
   policymgr_http_enabled=true
   
   unix_user=ranger
   unix_user_pwd=ranger
   unix_group=ranger
   RANGER_PID_DIR_PATH=/home/ranger/software/ranger-admin/pid
   

5. 初始化ranger-admin

   执行解压包里的 setup.sh脚本

6. 启动Admin

   ./ews/ranger-admin-services.sh start
   

   关闭的命令 使用 ./ews/ranger-admin-services.sh stop

7. 检查是否安装成功

   可以检查日志，日志路径：/ranger-1.2.0.1-admin/ews/logs 文件名： ranger-admin-{hostname}-{user}.log

   访问页面 http://IP:6080

二、安装Ranger HDFS组件

ranger-hdfs组件安装在Hadoop 集群的NameNode节点上。如果是HA Cluster。则集群的每个NN节点上 都需要安装ranger-hdfs。

1. 准备安装压缩包

   tar -zxvf ranger-1.2.0.1-hdfs-plugin.tar.gz
   

   得到文件夹ranger-1.2.0.1-hdfs-plugin。

2. 修改install.properties

   #admin管理端的地址
   POLICY_MGR_URL=http://127.0.0.1:6080
   #policy的仓库名
   REPOSITORY_NAME=hbasedevwebhdfs
   #组件的安装路径 即配置hadoop组件的HADOOP_HOME
   COMPONENT_INSTALL_DIR_NAME=/home/bigdata/software/hadoop
   #执行用户和用户组
   CUSTOM_USER=bigdata
   CUSTOM_GROUP=bigdata
   

3. 启动hdfs-plugin

   ./enable-hdfs-plugin.sh
   

   3.1 在安装了插件之后会修改hdfs的配置文件hdfs-site.xml文件，新增或修改以下属性

   <property>
       <name>dfs.permissions.enabled</name>
       <value>true</value>
   </property>
   <property>
       <name>dfs.permissions</name>
       <value>true</value>
   </property>
   <property>
       <name>dfs.namenode.inode.attributes.provider.class</name>
       <value>org.apache.ranger.authorization.hadoop.RangerHdfsAuthorizer</value>
   </property>
   

   3.2. 在/home/bigdata/software/hadoop/etc/hadoop中增加文件

   -rwxr--r-- 1 bigdata bigdata  9550 8月  26 14:22 ranger-hdfs-audit.xml
   -rwxr--r-- 1 bigdata bigdata  3711 8月  26 14:22 ranger-hdfs-security.xml
   -rwxr--r-- 1 bigdata bigdata  1907 8月  26 14:22 ranger-policymgr-ssl.xml
   -rw-r--r-- 1 bigdata bigdata    83 8月  26 14:22 ranger-security.xml
   

   3.3. /home/bigdata/software/hadoop/etc/hadoop文件夹中会新增软连接

   lrwxrwxrwx 1 bigdata bigdata      77 9月   7 11:21 ranger-hdfs-plugin-impl -> /home/bigdata/software/ranger-1.2.0.1-hdfs-plugin/lib/ranger-hdfs-plugin-impl
   lrwxrwxrwx 1 bigdata bigdata      89 9月   7 11:21 ranger-hdfs-plugin-shim-1.2.0.1.jar -> /home/bigdata/software/ranger-1.2.0.1-hdfs-plugin/lib/ranger-hdfs-plugin-shim-1.2.0.1.jar
   lrwxrwxrwx 1 bigdata bigdata      91 9月   7 11:21 ranger-plugin-classloader-1.2.0.1.jar -> /home/bigdata/software/ranger-1.2.0.1-hdfs-plugin/lib/ranger-plugin-classloader-1.2.0.1.jar
   

4. 重启hdfs

   在重启hadoop集群的时候，先分清NN节点那个是active ，优先重启是standby状态的NN节点。然后进行NN的主备切换 将原来的active的节点转为standby状态在重启。

   #相关命令
   # 查看namenode节点状态 值为 standby或者active
   hdfs haadmin -getServiceState nn1 
   # 查询集群是否安全模式
   hdfs dfsadmin -safemode get
   # 主NN节点切换   hdfs haadmin -failover nn1[主] nn2[备] 
   hdfs haadmin -failover nn2 nn1
   # hadoop/sbin 路径下进行NN的关闭启动
   ./hadoop-daemon.sh stop namenode
   ./hadoop-daemon.sh start namenode
   

5. admin插件管理页配置hdfs服务
   
   

三、安装Ranger-usersync组件

1. 准备安装压缩包

   ranger-1.2.0.1-usersync.tar.gz

2. 修改install.properties

   #admin的地址
   POLICY_MGR_URL=http://IP:6080
   #rangerusersync用户的密码。注意，此密码应与Ranger admin中install.properties的rangerusersync_password相同。此处可以为空，同样Ranger admin的也要为空
   rangerUsersync_password=123456
   #执行用户用户组 基本都是root
   unix_user=root
   unix_group=root
   #用户来源系统类型
   SYNC_SOURCE=unix
   # 开始收集机器上id从500之后的用户和用户组 默认值
   MIN_UNIX_GROUP_ID_TO_SYNC = 500
   MIN_UNIX_USER_ID_TO_SYNC = 500
   

3. 初始化

   setup.sh
   

4. 启动与验证

   /ranger-usersync-services.sh start