Hadoop

Posted 2021-04-13 Help先生SmileyCaesar

前提

大数据系列文章：

如果把大数据比作白米饭的话，Hadoop就是盛饭的碗，而人工智能就是吃饭的筷子。随便逛逛知乎，会发现各种各样的英文简写，包括HDFS、MapReduce、HBase、Zookeepr、Hive、Pig、Sqoop、Avro 不禁发怵~ 这些都是Hadoop生态圈里的“组件”。

环境搭建

• Linux安装

• VMware Workstation Pro安装

• Linux系统镜像【CentOS-6.5】
  

• 系统nat配置

• 虚拟机设置-网络连接-NAT模式

• 初始化设置【先改为“桥接模式”再改回“NAT模式”】

• 修改 /etc/sysconfig/network-scripts/ 下的ifcfg-eth0文件【Linux下的vim操作】并重启网络配置，之后用命令ifconfig验证是否配置成功。curl和ping百度检查能否上网

• 利用XShell终端远程登陆虚拟机Linux系统
  

Hadoop集群搭建

    hadoop-1.2.1安装包

    java-1.6

    1. 配置三台主机作为一个集群【master|slave1|slave2】:复制master镜像作为slave1和slave2；

   

    

    3. 给三台主机安装Java：利用Vmware设置共享目录共享hadoop及Java安装包；把安装包从 /mnt/hgfs/share_folder 拷贝到 /usr/local/src/下；进入目录运行安装命令；编辑Java环境变量（JAVA-HOME|CLASSPATH|PATH)；将Java安装包复制给另两台主机，作同样的配置。

   

     4. 解压hadoop安装包；进入到hadoop目录下新建一个tmp文件夹；依次修改masters、slaves、core-site.xml、mapred-site.xml、hdfs-site.xml、hadoop-env.sh文件；配置本地网络配置，关联指定IP和主机（hostname)；将hadoop目录远程拷贝到slave1和slave2；做master同样的配置在slave1和slave2；关闭三台主机系统的防火墙,为了避免其他错误，方便排除执行命令【setenforce 0】；在每台机器上配置对方的公钥，这样在任一机器上通过ssh登陆其他机器不再需要密码；进入hadoop /bin目录下，先格式化【.hadoop namenode -format】,然后启动集群【./start-all.sh】,查看进程【jps】。

    

    5. 查看目录【./hadoop fs -ls /】上传目录【./hadoop fs -put /etc/...】读取目录【.hadoop fs -cat /...】自此，hadoop环境搭建成功。