1Hadoop常见问题

Posted 2020-12-13 WH·xiao

1、简要描述如何安装配置一个apache开源版hadoop，描述即可

（1）解压Hadoop

（2）配置JDK，防火墙、Hadoop环境

（3）修改Hadoop配置

（4）格式化namenode，对数据缓存的的路径进行格式化

（5）启动Hadoop

 

2、请列出正常工作的hadoop集群中hadoop都需要启动哪些进程，他们的作用分别是什么

--namenode =>HDFS的守护进程，负责维护整个文件系统，存储着整个文件系统的元数据信息，有image+edit log namenode不会持久化存储这些数据，而是在启动时重建这些数据。

--datanode =>是具体文件系统的工作节点，当我们需要某个数据，namenode告诉我们去哪里找，就直接和那个DataNode对应的服务器的后台进程进行通信，由DataNode进行数据的检索，然后进行具体的读/写操作

--secondarynamenode =>一个冗余的守护进程，相当于一个namenode的元数据的备份机制，定期的更新，和namenode进行通信，将namenode上的image和edits进行合并，可以作为namenode的备份使用

--resourcemanager =>是yarn平台的守护进程，负责所有资源的分配与调度，client的请求由此负责，监控nodemanager

--nodemanager => 是单个节点的资源管理，执行来自resourcemanager的具体任务和命令