阿里云EMR集群初始化后的开发准备工作

Posted 2020-09-19 Sea_Sky

    

     前言：EMR的集群使用越来越普遍，但是每一次的集群释放到集群的重新创建，期间总有一些反复的工作需要查询与配置。为方便后续工作查阅，现在对集群初始化后的工作进行大概的梳理如下。

 

step1:  登录阿里云查看集群主节点分配的公网IP

    

 

 

 

step2： 若之前有进行外网访问权限的设置，设置安全组白名单 (while-list)

 

 

step3：登录EMR节点，更改hadoop用户的登录密码（建议用部署用户进行emr任务的操作，root用户慎用！）

 

 

---

 

[hadoop@emr-header-1 emr]$ hadoop fs -ls /

 

Found 3 items

drwxr-xr-x   - hadoop hadoop          0 2017-05-20 11:02 /apps

drwxr-xr-x   - hadoop hadoop          0 2017-05-20 16:18 /spark-history

drwxrwxrwx   - hadoop hadoop          0 2017-05-20 11:03 /tmp

 

---

 

 

step4: 查询或修改集群的配置信息

 

$ ll /etc/emr/

 

 

$ ll /opt/apps/