20190228 搭建Hadoop基础环境

Posted soar.pang

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了20190228 搭建Hadoop基础环境相关的知识,希望对你有一定的参考价值。

     

  1. 下载VMware 12 版本以上
  2. 下载CentOS 7以上版本
  3. 安装虚拟机,安装系统时,注意设置root 账号和密码
  4. 虚拟机配置网络,命令ip addr 查看IP 地址,(配置网络网上有很多办法,百度即可)
  5. 保证虚拟机和主机可以相互ping IP 后,端口22可访问
  6. 安装WinSCP,进行一些工具包的上传下载,在网络不能拉取的情况下

如图:

 

  1. linux 系统中要其中共享文件夹的部分比较麻烦,试了很多次虽然虚拟机配置了,但在客户机不能访问/mnt/fgfs文件
  2. 安装也没能使用,文件拖拽

     

是通过网上提供的ISO 镜像文件进行的安装,不过没能使用

 

  1. 安装jdk
  2. JDK安装好后,配置环境变量, 

      

 

 

格式化hdfs namenode -format

  1. 进程号

 

 

运行案例PI

遇到异常: 配置hostname ,主机名称要和配置文件一致

这个问题是配置文件中没有修改为主机名称host160

此问题是配置文件

需要增加

 

 

 最后成功的情况。

 

 

 

 

以上是关于20190228 搭建Hadoop基础环境的主要内容,如果未能解决你的问题,请参考以下文章

怎么在windows上搭建hadoop环境

Hadoop2.0分布式集群的平台搭建

spark--环境搭建--Hadoop 2.4.1

搭建Hadoop集群需要注意的问题:

大数据

eclipse+hbase开发环境部署