cloudera learning3:Hadoop配置和守护进程logs

Posted 2020-08-11 软件心理学工程师

Services:Haddoop cluster上可以部署的组件,比如HDFS，YARN，HBase等。

Roles:在service配置时，由Cloudera Manager创建。比如NameNode是HDFS service的一个role。

Role Group:对Role的管理，可以将相同类别的Role(如DataNode)划分到不同的角色组。每个Role Group可以有属于自己的一系列配置。

Role Instance:组成服务最基本的单一实例(可以认为是进程)。一个HDFS服务有NameNode角色和DataNode角色等组成。而DataNode角色又含有N个DataNode实例。

configuration priority: Role Instance > Role Group > Service

Cloudera Manager会基于resource availability自动创建role groups。Role可以在Role group之间移动。

 

每个通过cloudera manager管理的service都有两个配置文件。一个是service默认的配置文件，CM称之为client configuration，存放在/etc/hadoop/conf；一个是cloudera agent运行时需要访问的配置文件存,放在/var/run/cloudera-scm-agent/process/目录下。

 

Hadoop守护进程的log主要包括NameNode，DataNodes，NodeManager，JobHistory Server的log.

Application log包括YARN containers的log，以及spark，Hive等service的log

.out文件:包含进程启动时的stdout和stderr。

.log文件:service的log文件。