Hadoop集群搭建步骤

Posted 2020-08-21 一人浅醉-

实验性操作是在虚拟机里进行的，除了搭建hadoop本身的操作之外，遇到的其它问题总结如下：

1. 虚拟机挂载windows磁盘： 添加硬件，要保证该硬件此时没有被读写访问等，因为挂载后，该磁盘在宿主机上就不能用了。启动虚拟机linux，执行 fdisk –l 查看windows磁盘的分区，如/dev/sdb2，然后执行挂载命令： mount /dev/sdb2 /mnt/win/ 然后就可以到/mnt/win目录下访问磁盘上的内容了

2. hadoop启动时如果报错，提示JAVA_HOME is not set，请设置好java的环境变量，如果设置了还有提示，那么注意把$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件中的JAVA_HOME=${JAVA_HOME}替换成绝对路径即可

3. 永久修改linux主机名的方式为，编辑/etc/hostname文件，直接修改，然后将/etc/hosts文件(注意是hosts文件不是host文件)中对应的主机名也改成目标名称，最后重启系统即可。此后为了在浏览器中方便查看虚拟机中集群的hadoop及yarn后台的web页面，建议把新主机名与对应的局域网ip在windows的system32/drivers/etc/host文件中作一份映射

4. 在生成免密登录的ssh_key时，需要在~/.ssh/目录下创建一个名为“authorized_keys”的文件，然后将密钥文件(id_rsa.pub)中的内容复制到authorized_keys文件中以进行授权

5. ubuntu中启用超级用户的方式是为root用户分配一个有效的密码： sudo passwd root

 

详细搭建步骤参考:

 Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

 Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS