hadoop题目

Posted 2021-01-13 白菜园到三位真火

一、简要描述如何安装配置一个开源hadoop，只描述即可，列出完整步骤。

　　答：①创建一个用户和用户组，用来管理hadoop项目；

　　　  ②修改确定IP地址：vim /etc/sysconfig/network-scripts/ifcfg-eth0；

　　    ③修改主机名：vim /etc/sysconfig/network

　　    ④修改host主机名和IP地址映射：vim /etc/hosts

　　　　⑤查看和关闭防火墙：service iptables status    关闭防火墙： service iptables stop

　　　　⑥安装ssh并配置免密码登录：ssh-keygen -t rsa 执行完这个命令后，会自动生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）,将公钥拷贝到要免登陆的机器上：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

　　　　⑦上传并安装jdk,修改~/.bashrc文件，配置Java环境变量

　　　　⑧安装hadoop：tar -zxvf hadoop....tar.gz

　　　　⑨配置conf文件：

　　　　对于hadoop1.* 版本（hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml）

　　　　对于hadoop2.* 版本（hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml,salves文件）

　　　　⑩安装配置zookeeper集群

　　　　?格式namenode,对于hadoop1.*版本：hadoop namenode -format；对于hadoop2.* 版本：hdfs namenode -format

 

二、正常工作的hadoop集群中hadoop都分别需要启动哪些进程，它们的作用分别是什么？

　　　　hadoop2.*版本：会启动NameNode、DFSZKFailoverController，ResourceManager,DataNode、NodeManager、JournalNode